 Cercetare în Psihologie: Bazele Metodologiei și Statisticii Aplicate în Domeniul Psihologiei Teorie și Exemple Bogdan Cocoș Master Sănătate Ocupațională și Performanța Resursei Umane, Facultatea de Psihologie și Științele Educației, Universitatea din București Cuprins Eșantionarea Tipuri de Selectare Selectarea Aleatorie Selectarea Nealeatorie Tipuri de Alocare Alocarea Aleatorie Alocarea Nealeatorie Diferența dintre Selectare și Alocare Validitatea Validitatea Testelor Validitatea de Construct Validitatea de Criteriu Validitatea Studiilor Validitatea Concluziei Statistice Validitatea Internă Validitatea Externă Eficiență, Eficacitate și Efectivitate Eficiența (Efficacy) Eficacitatea (Effectiveness) Efectivitatea (Efficiency) Design-uri de Cercetare Experimentale Concepte de Bază Trei Tipuri de Design-uri în Block-uri Design Complet Aleatoriu Design Aleatoriu în Block-uri Design de Tip Pătrat Latin Design-uri Factoriale Design Factorial Complet Aleatoriu Modele Alternative Model de Regresie Cell Means Model Design Factorial Aleatoriu în Block-uri Design-uri Factoriale cu Confundate/ Covariate Fundamente Teoretice Design Factorial de Tip Split-Plot Design-uri Factoriale Fracționare Design-uri Ierarhice Design-uri Ierarhice cu Unul/ Două Tratamente Grupate Design Ierarhic cu Tratamente Încrucișate și Grupate Design-uri Experimentale cu O Covariată Analiza de Covarianță (ANCOVA) Design-uri de Cercetare Cvasi-Experimentale Experiment pe Serii de Timp (Time-Series Experiment) Design pe Eșantioane Temporale Echivalente (Equivalent Time-Sample Design) Design cu Materiale/ Instrumente Echivalente (Equivalent Materials Design) Design Neechivalent cu Grup de Control (Nonequivalent Control Group Design) Design-uri Contrabalansate (Counterbalanced Designs) Design cu Eșantion Separat Pretest-Posttest (Separate Sample Pretest-Posttest Design) Design cu Eșantion Separat Pretest-Posttest și Grup de Control (Separate Sample Pretest-Posttest Control Group Design) Design pe Serii Multiple de Timp (Multiple Time-Series Design) Design-ul Ciclului Instituțional Recurent (Recurrent Institutional Cycle Design) Analiza Regresie-Discontinuitate (Regression-Discontinuity Analysis) Design-uri de Cercetare Non-Experimentale Studiu Transversal (Cross-Sectional) Definiție și Caracteristici Avantaje și Dezavantaje Studiu de Tip Case-Control Definiție și Caracteristici Avantaje și Dezavantaje Studiu de Tip Înainte-După (Before-and-After) Definiție și Caracteristici Avantaje și Dezavantaje Studiu Retrospectiv de Tip Istoric cu Grup de Control (Historical Controls) Definiție și Caracteristici Avantaje și Dezavantaje Sondaje/ Chestionare Definiție și Caracteristici Avantaje și Dezavantaje Studiu de Caz de Tip Case Series Definiție și Caracteristici Avantaje și Dezavantaje Studiu de Caz de Tip Case Report Definiție și Caracteristici Avantaje și Dezavantaje Alte Design-uri de Cercetare Studii Corelaționale Definiție și Caracteristici Limitări Meta-Analize Definiție și Caracteristici Limitări Revizuiri Sistematice (Systematic Reviews) Definiție și Caracteristici Limitări Studii Cost-Beneficiu (Cost-Benefit) Definiție și Caracteristici Limitări Studii Cost-Eficacitate (Cost-Effectiveness) Definiție și Caracteristici Limitări Ierarhia Evidențelor Accepția Clasică Scurte Definiții Case Series și Case Reports Case Control Studies Cohort Studies Randomized Controlled Trials (RCTs) Systematic Review și Meta-Analysis Ediția Revizuită Fidelitatea Definiție și Tipuri de Fidelitate Fidelitatea Inter-Evaluator Definiție și Caracteristici Statistici Uzuale Procentajul de Acord Kappa-ul lui Cohen Corelația Produs-Moment Coeficientul de Corelație Intra-Clasă Fidelitatea Test-Retest/ Intra-Evaluator Fidelitatea de Tip Forme Paralele/ Forme Echivalente Fidelitatea de Tip Consistență Internă Definiție și Caracteristici Statistici Uzuale α-ul lui Cronbach Corelația Medie Inter-Itemi Fidelitatea Split Half Kuder-Richardson (KR- ) Analiza de Putere Tipuri de Erori Statistice Definiție și Caracteristici Factori ce Pot Influența Puterea Unui Test Analiza Prospectivă (A Priori) Analiza Retrospectivă (Post Hoc) Statistici Descriptive Univariate Tendința Centrală a Distribuției Media (Mean/ Average) Mediana (Median) Modul (Mode) Dispersia Distribuției Intervalul (Range) Quartilele (Quartiles) Abaterea Standard (Standard Deviation) Varianța (Variance) Forma Distribuției Skewness Kurtosis Histograme (Histograms) Reprezentări Grafice de Tip Stem-and-Leaf Teste Statistice Elementare pentru Psihologie Testul t pentru Un Singur Eșantion Testul t pentru Eșantioane Perechi Asumpțiile Testului Mărimea Efectului Testul t pentru Eșantioane Independente Asumpțiile Testului Mărimea Efectului Analiza de Varianță (ANOVA) Unifactorială Asumpțiile Testului Mărimea Efectului Epsilon Squared Eta Squared Omega Squared Corelație Asumpțiile Testului Regresie Liniară Simplă Asumpțiile Testului Mărimea Efectului Analiza de Moderare și Analiza de Mediere Analiza de Moderare Definiție și Caracteristici Asumpții Analiza de Mediere Definiție și Caracteristici Asumpții Mediere Totală vs Mediere Parțială Semnificația Statistică Definiție Accepția Clasică Accepția Revizuită Principiile Semnificației Statistice Semnificația Statistică, Mărimea Efectului și Semnificația Clinică Concluzii Metodologie Eșantionarea Tipuri de Selectare ● Aleatorie ○ Aleatorie simplă ( Simple random ) ○ Aleatorie stratificată ( Stratified random ) ○ Eșantionarea pe grupuri ( Cluster sampling ) ○ Eșantionarea sistematică ( Systematic sampling ) ○ Eșantionarea multistadială ( Multi-stage sampling ) ● Nealeatorie ○ Eșantionarea consecutivă/ pe cote ( Quota sampling ) ○ Eșantionarea de tip bulgăre de zăpadă ( Snowball sampling ) ○ Eșantionarea deliberată ( Judgement sampling ) ○ Eșantionarea de conveniență ( Convenience sampling ) Selectarea Aleatorie Selectarea aleatorie simplă este un model de eșantionare în care k elemente distincte sunt selectate din n elemente posibile ale populației, astfel încât fiecare combinație posibilă de k elemente are șansa egală de a fi eșantionul selectat (Thompson, , în Meng, ) Selectarea aleatorie stratificată constă în aplicarea eșantionării aleatorii simple pe subseturi omogene distincte și reprezentative pentru populație (Meng, ) Eșantionarea pe grupuri este o tehnică de eșantionare în care toate elementele populației sunt categorizate în grupuri mutual exclusive și exhaustive (denumite “ clusters ”) (Wakar & Poznyak, ) Eșantionarea sistematică este o metodă de eșantionare ce aplică un interval constant (i e , din k în k ) în selectarea eșantioanelor dintr-un anumit cadru de eșantionare (i e , din populația N , se extrage eșantionul n , urmând ca, din eșantionul n să fie selectat fiecare al k -lea element aleatoriu r ) (Cox, ) Eșantionarea multistadială este o metodă de eșantionare ce conține sau mai multe stadii de eșantionare aleatorie simplă bazată pe structura ierarhică a grupurilor natural formate în interiorul populației (e g , școli, gospodării) (Sedgwick, ) Selectarea Nealeatorie Eșantionarea consecutivă/ pe cote este o metodă de eșantionare în care eșantioanele sunt selectate în baza probabilității ca o anumită variabilă din populație să fie distribuită proporțional (e g , proporția de eșantioane dintr-o categorie are proporția teoretică a populației) (Rukmana, ) Eșantionarea de tip bulgăre de zăpadă este un tip de eșantionare de conveniență în care respondenții prezenți în cadrul unui studiu recrutează viitori respondenți, dintre cunoștințe (e g , rude, prieteni) (Naderifar, Goli, & Ghaljaei, ) Eșantionarea deliberată este o metodă de eșantionare în care unitățile selectate pentru un studiu sunt incluse în baza judecății profesionale a cercetătorului (Maul, ) Eșantionarea de conveniență este o metodă de eșantionare în care respondenții sunt selectați în baza faptului că reprezintă surse “conveniente” de date pentru cercetători (i e , prezintă disponibilitate) (Battaglia, ) Tipuri de Alocare ● Aleatorie ● Nealeatorie Alocarea Aleatorie Alocarea aleatorie reprezintă procesul prin care cercetătorii selectează aleatoriu indivizi din eșantionul format, cu scopul de a-i aloca unor condiții specifice Fiecare respondent are o probabilitate specifică de a fi alocat într-o anumită condiție Condițiile (denumite “grupuri”) reprezintă niveluri ale variabilei independente (Salkind, a) Alocarea Nealeatorie Alocarea nealeatorie reprezintă alocarea respondenților selectați din eșantion în baza anumitor caracteristici Astfel, participanții nu au șanse egale de a fi plasați în grupuri Diferența dintre Selectare și Alocare Selectarea presupune selectarea indivizilor dintr-o populație În contrast, alocarea reprezintă alocarea indivizilor selectați în grupuri (e g , experimental, control), fie aleatoriu, fie nealeatoriu Selectarea este o componentă a validității externe (i e , privește generalizabilitatea rezultatelor), în timp ce alocarea reprezintă o componentă a validității interne Resurse Online - Eșantionarea Distinguish between participant selection and participant assignment and tell the specific type of validity associated with each Difference between Random Selection and Random Assignment Eșantionarea Eșantionul Sampling Methods | Types and Techniques Explained Sampling | Research Methods Knowledge Base Sampling in Statistics: Different Sampling Methods, Types & Error Types of sampling methods | Statistics (article) RANDOM ORG - True Random Number Service http://www youtube com/watch?v=cTA WWLhUp Validitatea Validitatea Testelor ● Validitatea de construct ○ Validitatea de conținut ○ Validitatea de fațadă ● Validitatea de criteriu ○ Validitatea concurentă ○ Validitatea predictivă Validitatea de Construct Validitatea de conținut reprezintă măsura în care itemii, afirmațiile sau întrebările unui test sunt reprezentativi/ reprezentative pentru constructul măsurat de test (e g , itemii ce fac referire la depresie sunt reprezentativi pentru măsurarea depresiei) (Salkind, b) Validitatea de fațadă reprezintă măsura în care testul pare că măsoară ceea ce își propune să măsoare (i e , testul pare bine făcut, în viziunea respondenților) (Johnson, ) Validitatea de Criteriu Validitatea concurentă reprezintă gradul de acord dintre două evaluări independente (e g , măsurarea depresiei cu instrumentul A este similară cu măsurarea depresiei cu instrumentul B) (Adams, Cervantes, Jang, & Dixon, ) Validitatea predictivă reprezintă gradul de acord dintre rezultatele obținute cu ajutorul unui test nou și rezultatele obținute cu ajutorul unui test acreditat (i e , Gold Standard) (Multani, Saini, Kaur, & Sharma, ) Validitatea Studiilor ● Validitatea concluziei statistice ● Validitatea internă ● Validitatea externă Validitatea Concluziei Statistice Validitatea concluziei statistice poate fi văzută drept o parte mică a unui proiect de cercetare sau a unui studiu al cărui țel constă în comunicarea unei concluzii și în luarea unei decizii în baza analizelor statistice efectuate Majoritatea erorilor privind validitatea concluziei statistice apar din cauza faptului că există o înțelegere precară a procedurilor statistice, rezultând într-o utilizare eronată a acestora (García-Pérez, ) Validitatea Internă Validitatea internă reprezintă măsura în care rezultatele observate reprezintă adevăruri privind populația-țintă și nu efecte cauzate de erori metodologice (Patino & Ferreira, ) Dintre factorii ce pot afecta validitatea internă, amintim: istoricul, maturizarea, efectele testării, instrumentele utilizate, regresia statistică, erorile de selectare, mortalitatea, ordinea temporală a cauzalității, difuzia tratamentelor, rivalitatea compensatorie, demoralizarea, compensarea, efectele resimțite de cercetători și efectele resimțite de participanți Pentru mai multe detalii, în privința acestor factori, a se consulta primul link listat în cadrul secțiunii Resurse Online, a acestui capitol Validitatea Externă Validitatea externă reprezintă măsura în care efectele observate în cadrul studiului pot fi observate și în afara acestuia (i e , generalizabilitatea unui studiu) (Khorsan & Crawford, ) Dintre factorii ce pot afecta validitatea externă, amintim: erorile de selectare, constructele măsurate, metodele și variabilele confundate, diferența dintre “lumea reală” (i e , semnificația practică) și “lumea experimentală” (i e , semnificația statistică), istoricul și maturizarea Pentru mai multe detalii, în privința acestor factori, a se consulta cel de-al doilea link listat în cadrul secțiunii Resurse, a acestui capitol Un tip excepțional de validitate externă este validitatea ecologică Aceasta reprezintă congruența sau asocierea dintre testele derulate într-un cadru specific (e g , laborator, clinică) și sarcinile de lucru cotidiene (Johansson & Wahlin, ) Resurse Online - Validitatea Internal validity | Lærd Dissertation External validity | Lærd Dissertation Validity The Types of Validity | Explained with Easy Examples Reliability and Validity of Measurement – Research Methods in Psychology RESEARCH METHODS: PLANNING: VALIDITY Research Methodology: Validity Two Criteria for Good Measurements in Research: Validity and Reliability Eficiență, Eficacitate și Efectivitate Eficiența ( Efficacy ) Eficiența poate fi definită ca abilitatea unei intervenții de a obține rezultatul vizat, în condiții considerate a fi ideale (Crespo-Facorro et al , ) Pentru a înțelege mai bine conceptul eficienței, vor fi discutate, în continuare, caracteristicile acestuia În acest sens, consecințele primare ale studiilor de eficiență privesc reducerea simptomelor, schimbări comportamentale sau optimizări ale abilităților Strategia tipic utilizată este cea de studiu clinic controlat ( RCT , Randomized Controlled Trial ) De asemenea, studiile de eficiență se pot concentra pe mecanismele acțiunii intervenției Studiile tipice de eficiență iau în calcul criterii restrânse de producere a unui eșantion omogen (i e , asumă faptul că respondenții reprezintă populația-țintă, fără un control prealabil al asumpției, rezultând, astfel, o validitate externă limitată) (Hargreaves, Catalano, Hu, & Cuffel, ) Un exemplu de utilizare a conceptului de eficiență poate fi observat în articolul lui Swart și Apsche ( ) Eficacitatea ( Effectiveness ) Conceptul de eficacitate poate fi înțeles ca măsura în care efectul vizat este obținut, în condiții de practică rutinieră clinică (Crespo-Facorro et al , ) Pentru a înțelege mai bine conceptul eficacității, vor fi discutate, în continuare, caracteristicile acestuia În acest sens, studiile de eficacitate pot fi găsite și sub denumirile de “ real-world studies ” sau “ pragmatic trials ” Aceste studii se bazează pe criterii mai largi de excluziune, permițând o mai mare varietate de pacienți, condiții de tratament și niveluri ale psihopatologiilor asociate Totodată, se bazează pe consecințe privind calitatea vieții și preferințele pentru instrumente de autoraportare sau globale Au o mai mare validitate externă, accentuându-se potențialul de generalizare a rezultatelor obținute cu ajutorul acestor studii Cu toate acestea, validitatea lor internă este limitată (Möller, ) Un exemplu de utilizare a conceptului de eficacitate poate fi observat în articolul lui Carter și Fairburn ( ) Efectivitatea ( Efficiency ) Conceptul de efectivitate nu are o traducere propriu-zisă în limba română În acest sens, însăși denumirea de “efectivitate” va fi utilizată drept o operaționalizare a conceptului În ciuda limitărilor lingvistice, efectivitatea reprezintă valoarea relativă a unei intervenții, comparativ cu costul acesteia pentru individ sau societate (Crespo-Facorro et al , ) Pentru a înțelege mai bine conceptul efectivității, vor fi discutate, în continuare, caracteristicile acestuia În acest sens, studiile de efectivitate reprezintă tentative de măsurare cât mai obiectivă a valorilor relative ale mai multor variabile (denumite “ estimators ”) (Fisher, , în Organisation for Economic Cooperation and Development, ) În general, studiile de efectivitate sunt utilizate pentru compararea intervențiilor, în cadrul design-urilor experimentale Astfel, un design experimental ar putea fi mai efectiv decât un altul, în cazul în care dă dovadă de aceeași precizie, cu mai puține resurse temporale sau financiare (Organisation for Economic Cooperation and Development, ) Un exemplu de utilizare a conceptului de efectivitate poate fi observat în articolul lui Yang și Tsiatis ( ) Sumar - Eficiență, Eficacitate și Efectivitate ● Eficiența - Rezultat vizat, condiții ideale ● Eficacitatea - Măsura eficienței ● Efectivitatea - Valoarea relativă temporal sau financiar a unei intervenții, comparativ cu o alta Bibliografie Selectivă - Eficiență, Eficacitate și Efectivitate Carter, J C , & Fairburn, C G ( ) Cognitive–behavioral self-help for binge eating disorder: A controlled effectiveness study Journal of Consulting and Clinical Psychology , ( ), – https://doi org/ / - X Swart, J , & Apsche, J ( ) A comparative treatment efficacy study of conventional therapy and mode deactivation therapy (MDT) for adolescents with conduct disorders, mixed personality disorders, and experiences of childhood trauma International Journal of Behavioral Consultation and Therapy , ( ), - http://doi org/ /h Yang, L , & Tsiatis, A A ( ) Efficiency study of estimators for a treatment effect in a pretest–posttest trial The American Statistician , ( ), - https://doi org/ / Resurse Online - Eficiență, Eficacitate și Efectivitate Efficacy vs Effectiveness vs Efficiency – Healthcare Economist Efficacy, Effectiveness and Efficiency in the Health Care: The Need for an Agreement to Clarify its Meaning What is the difference between efficacy and effectiveness with respect to clinical trials? Definitions: Efficacy, Effectiveness, Efficiency | Delivering Digital Drugs (D ) The Difference Between Effectiveness and Efficiency Explained Effectiveness vs Efficiency vs Efficacy Design-uri de Cercetare Experimentale Înainte de a începe discuția despre design-urile de cercetare experimentale, va fi listată, în continuare, o clasificare a acestora (Kirk, , p ) Concepte de Bază Design-urile experimentale sunt interesate de o analiză robustă a naturii În acest sens, cercetătorii pot lua decizii informate privind ipotezele din știință și tehnologie (i e , prin compararea variabilității dintre participanții care au primit intervenții diferite cu variabilitatea participanților care au primit intervenții similare) (Kirk, ) Astfel, demersurile majoritar utilizate în descrierea design-urilor experimentale pot fi descrise în pași (Kirk, ): Formularea ipotezelor statistice relevante pentru o ipoteză științifică Determinarea condițiilor experimentale (i e , variabile independente) ce vor fi manipulate, a măsurătorilor (i e , variabile dependente) ce vor fi înregistrate și a condițiilor externe (i e , variabile confundate/ zgomot) ce trebuie să fie controlate Specificarea numărului recomandat de participanți și a populației din cadrul căreia aceștia sunt eșantionați Specificarea procedurii de alocare a participanților în condițiile experimentale Determinarea analizelor statistice potrivite, ce vor fi derulate Sumar, există trei principii ale design-urilor experimentale bune (Kirk, ): Controlul variabilei dependente Alocarea aleatorie a participanților în grupuri Includerea covariatei (i e , variabilă-zgomot) ca un factor experimental Trei Tipuri de Design-uri în Block-uri Design Complet Aleatoriu Pentru schematizarea design-ului complet aleatoriu, vor fi folosite planurile generale utilizate de Kirk ( , p ), respectiv un exemplu de utilizare a design-ului (da Silva, Fernandes, Colen, & Sampaio, ), după cum urmează Design Aleatoriu în Block-uri Kirk ( ) delimitează o serie de pași caracteristici design-urilor aleatorii în block-uri: Observarea fiecărui participant pentru fiecare nivel/ tip de intervenție, în experiment (i e , măsurători repetate) Participant matching - Formarea seturilor de participanți similari din punctul de vedere al asocierii dintre intervenție și variabila dependentă Obținerea de gemeni sau codescendenți (i e , pentru a se asigura controlul caracteristicilor genetice similare ale participanților) Obținerea participanților potriviți prin selecție mutuală (e g , soț-soție, parteneri de afaceri, etc ) Pentru o înțelegere aplicată a conceptului de design aleatoriu în block-uri, se va utiliza schema propusă de Kirk ( , p ), după cum urmează Consensul metodologic privind notarea acestui tip de design este RB- p , unde: ● RB = “Randomized Block” ● p = Numărul de niveluri ale intervenției Rezultatele unui experiment cu măsurători repetate pot fi generalizate la nivelul populației de participanți ce au fost expuși la toate nivelurile intervenției În contrast, rezultatele unui experiment cu participanți-pereche pot fi generalizate la nivelul populației de participanți ce au fost expuși la un singur nivel al intervenției (Kirk, ) În acest sens, pot fi delimitate două tipuri de design-uri aleatorii în block-uri: ( ) subjects-by-treatment design ; și ( ) subject-by-trials design Primul tip face referire la un design cu măsurători repetate în care ordinea nivelurilor administrării intervenției sau a tratamentului este alocată aleatoriu, independent, pentru fiecare participant Cel de-al doilea tip face referire la un design cu măsurători repetate în care ordinea nivelurilor administrării intervenției sau a tratamentului este aceeași pentru toți participanții (Kirk, ) Pentru exemplificare, Kirk ( , p ) propune un protocol de scădere a masei corporale, în funcție de niveluri posibile ale aceleiași intervenții, după cum urmează Ca o lectură adițională și, bineînțeles, opțională, va fi propus și un studiu (Chen et al , ) ce ține de domeniul psihologiei (i e , mai specific, neuropsihologie), pentru o înțelegere aprofundată a design-ului parcurs Design de Tip Pătrat Latin Numele acestui tip de design derivă de la un puzzle străvechi, ce viza în câte moduri pot fi aranjate literele într-o matrice pătratică (e g , * , n*n, etc ), astfel încât fiecare literă apare o singură dată în fiecare linie și coloană (Kirk, ) Pentru analogie, ne putem duce cu gândul înspre jocul de sudoku Consensul metodologic privind notarea acestui tip de design este LS- p , unde: ● LS = “Latin Square” ● p = Numărul de niveluri ale tratamentului Un astfel de design îi permite cercetătorului să izoleze efectele a două variabile-zgomot În acest sens, Kirk ( , p ) propune o schemă generală a design-ului, după cum urmează După cum v-ați obișnuit deja, probabil, va fi citat, în continuare, un articol (Pine et al , ) în care veți putea observa utilizarea practică a acestui tip de design Design-uri Factoriale Design Factorial Complet Aleatoriu Schema generală a acestui tip de design (Kirk, , p ) urmează astfel Consensul metodologic privind notarea acestui tip de design este CRF- pq , unde: ● CRF = “Completely Randomized Factorial” ● p = Numărul de niveluri ale intervenției A ● q = Numărul de niveluri ale intervenției B În acest punct, este necesară o discuție despre semnificația statistică a rezultatelor obținute în urma analizelor datelor colectate cu ajutorul design-urilor proaspăt învățate Firește, discuția despre semnificația statistică a rezultatelor va fi întâlnită, în calitate de subcapitol independent, la sfârșitul capitolului dedicat statisticii Așadar, este cunoscut faptul că există diferențe între semnificația statistică și semnificația practică a rezultatelor obținute Respingerea ipotezei de nul nu ne oferă prea multe informații, deoarece cunoaștem, deja, faptul că ipotezele formulate sunt false Totodată, respingerea ipotezei de nul nu ne vorbește despre mărimile efectelor specifice tratamentelor sau despre importanța practică a acestora Astfel, cercetătorii ar trebui să se concentreze mai mult pe datele în sine, în detrimentul concentrării pe ce “spun” datele despre ipotezele științifice (Kirk, ) În acest sens, Hays ( , în Kirk, ) a introdus o măsură a magnitudinii asocierilor dintre variabile, anume Omega Squared (i e , înțeleasă ca proporția varianței de populație în variabila dependentă, de care este responsabil tratamentul) Urmând instrucțiunile oferite de Cohen ( , pp - , în Kirk, ) pentru interpretarea indicelui Omega Squared , putem observa următoarele: ● - Asociere slabă ● - Asociere medie ● - Asociere puternică Pentru o mai bună aplicare și înțelegere a design-ului factorial complet aleatoriu, articolul lui Adam și Hadi ( ) se poate dovedi util Modele Alternative În cazul în care numărul de condiții (i e , “celulele” unui model) nu este egal, unii cercetători utilizează anumite proceduri, pentru aproximarea testelor ipotezei de nul, după cum urmează: ( ) estimarea observațiilor-lipsă, sub asumpția că tratamentele nu interacționează; ( ) eliminarea aleatorie de date, pentru a egala numărul condițiilor; sau ( ) utilizarea unei analize bazate pe calcule efectuate manual (i e , unweighted-means analysis ) (Kirk, ) Pentru o înțelegere aprofundată a modelelor alternative, Kirk ( ) discută despre două tipuri de astfel de modele: ● Model de regresie ● Cell means model Model de Regresie Pentru detalierea acestui tip de model, poate fi consultat subcapitolul dedicat analizei de regresie liniară, din cadrul acestei lucrări, sau paginile - ale materialului valabil pe OSF, la adresa: https://osf io/tx n/ , din cadrul proiectului “Cercetare în Psihologie” (Cocoș, ) Cell Means Model Acest tip de model evită problemele asociate cu supraparametrizarea (i e , utilizarea unui număr excesiv de parametri, în analizele statistice) Astfel, media unei populații poate fi estimată pentru fiecare condiție care conține una sau mai multe măsurători (i e , modelul este complet parametrizat) Acest tip de model nu impune o structură asupra analizei datelor (i e , poate fi utilizat pentru testarea ipotezelor asociate cu orice combinație liniară dintre mediile condițiilor populației) (Kirk, ) Modelul bazat pe mediile “celulelor” este, la rândul său, împărțit de Kirk ( ) în două tipuri: ● Unweighted means , ce vizează simpla medie aritmetică a condițiilor experimentului ● Weighted means , ce vizează media condițiilor în funcție de mărimea eșantionului - n(j, k) Pentru o înțelegere aprofundată a conceptului de analiză a mediilor unweighted , se va face referire la articolul lui Mistri și al colaboratorilor săi ( ) Design Factorial Aleatoriu în Block-uri Consensul metodologic privind notarea acestui tip de design este RBF- pq , unde: ● RBF = “Randomized Block Factorial” ● p = Numărul de niveluri ale intervenției A ● q = Numărul de niveluri ale intervenției B Acest tip de design este obținut prin combinarea nivelurilor unui design RB- p cu nivelurile unui design RB- q , astfel încât fiecare nivel al design-ului RB- p apare o singură dată asociat cu fiecare nivel al design-ului RB- q și reciproc Design-ul utilizează tehnica stratificării (i e , dispunerea în block-uri, blocking ), împreună cu un design RB- p , pentru a izola varianța variabilelor-zgomot Simultan, pot fi evaluate sau mai multe tratamente și interacțiuni asociate (Kirk, ) Pentru o înțelegere aprofundată a design-ului factorial aleatoriu în block-uri, se va face referire atât la schemele generale propuse de Kirk ( , pp - ), cât și la un articol din literatura de specialitate (Lim, Bong, Kang, & Dennen, ), după cum urmează Design-uri Factoriale cu Confundate/ Covariate Fundamente Teoretice În cazul în care dimensiunea unui block este prea mare, o formă alternativă de adresare a subiectului de cercetare este un design factorial confundat cu două tipuri de tratament Acest din urmă tip de design plasează covariata în interacțiunea dintre anumite grupuri de block-uri Drept rezultat, testul pe interacțiune este mai puțin puternic decât testele pe tratamentele A și B Aceste tipuri de design-uri sunt construite fie dintr-un design aleatoriu în block-uri, fie dintr-un design de tip pătrat latin (Kirk, ) Consensul metodologic de notare a acestor design-uri este RBCF- p k și LSCF- p k , unde: ● RB = “Randomized Block” ● LS = “Latin Square” ● C = Interacțiunea este complet confundată cu grupurile de block-uri ● F = Design factorial ● p k = Design-ul are k tratamente/ intervenții, fiecare pe p niveluri Pentru detalierea argumentelor anterior stipulate, se va face referire la schemele generale propuse de Kirk ( , pp - ), după cum urmează Design Factorial de Tip Split-Plot Acest tip de design provine din studiile agriculturale, în care tratamentul A este aplicat la parcele relativ mari - la totalitatea parcelelor Totalitatea parcelelor este, apoi, subdivizată ( split ), urmând ca nivelurile tratamentului B să fie aplicate la subdiviziunile parcelelor respective În acest sens, tratamentul A este considerat unul between-blocks , în timp ce tratamentul B este considerat unul within-blocks (Kirk, ) Schema generală (Kirk, , p ), acompaniată de recomandarea unui articol elocvent (Purdum, Eusebio, & Hanford, ), este ilustrată în continuare Design-uri Factoriale Fracționare Aceste design-uri reduc numărul de combinări posibile dintre tratamentele ce pot fi incluse într-un experiment de tip multi-tratament la fracții ale numărului total de combinări În teorie, sunt similare cu design-urile factoriale confundate Cu toate acestea, limitarea acestei reduceri a numărului de combinări posibile ale tratamentelor constă în ambiguitatea de interpretare a rezultatelor unui astfel de experiment (i e , deoarece sau mai multe denumiri pot fi atribuite fiecărei sume de pătrate) (Kirk, ) Pentru exemplificare, schema generală propusă de Kirk ( , p ), urmată de o recomandare de articol (El-Helaly, Habib, & Abd El-Rahman, ), va fi ilustrată Design-uri Ierarhice Design-uri Ierarhice cu Unul/ Două Tratamente Grupate Aceste tipuri de design-uri sunt construite fie din design-uri complet aleatorii, fie din design-uri aleatorii în block-uri Un design ierarhic cu două tratamente este construit dintr-un design CR- p și un design CR- q și este marcat prin abrevierea CRH- pq(A) (Kirk, ), unde: ● CRH = “Completely Randomized Hierarchical” ● pq(A) = Design-ul are p niveluri de tratament A și q niveluri de tratament B care este grupat ( nested ) în tratamentul A Pentru exemplificare, se va recurge la schemele generale propuse de Kirk ( , pp - ), urmate de recomandarea unui articol elocvent (Martindale, ), în acest sens Design Ierarhic cu Tratamente Încrucișate și Grupate Acest tip de design este similar cu cel discutat anterior În acest sens, se va trece direct la exemplificare, cu ajutorul schemei generale propuse de Kirk ( , p ) și cu ajutorul unui articol (Carter, Holmes III, Fletcher, & McCollough, ) Design-uri Experimentale cu O Covariată Analiza de Covarianță ( ANCOVA ) Analiza de covarianță reprezintă o modalitate alternativă de reducere a erorilor de varianță și de minimizare a efectelor variabilelor confundate Aceasta combină analiza de regresie și analiza de varianță Totodată, controlul experimental poate lua forme multiple (e g , alocare aleatorie a participanților la nivelurile de tratament, stratificarea participanților în block-uri omogene, rafinarea tehnicilor de măsurare a variabilei dependente) Deseori, analiza de covarianță este utilizată într-unul din trei situații de cercetare (Kirk, ): ● Utilizarea grupurilor intacte cu medii inegale ale variabilelor experimentale, în cercetarea educațională și industrială ● Atunci când devine aparent că, în ciuda faptului că a fost utilizată alocarea aleatorie, participanții au fost neechivalenți pe o variabilă relevantă, la începutul experimentului ● Au loc diferențe în variabilele-zgomot relevante pentru experiment Este important de menționat faptul că controlul statistic și controlul experimental nu sunt accepții mutual exclusive de reducere a erorilor de varianță și de minimizare a efectelor variabilelor-zgomot (Kirk, ) Ca o încheiere, Kirk ( ) afirmă că design-urile experimentale diferă printr-o serie de modalități posibile, precum: ● Procedurile de selecție și de alocare aleatorie ● Numărul de tratamente/ intervenții ● Utilizarea eșantioanelor independente sau dependente cu stratificare ● Utilizarea de tratamente încrucișate și grupate ● Prezența confundării ● Utilizarea covariatelor În scopul exemplificării procedeului analizei de covarianță, se va face apel la schema generală a acesteia (Kirk, , pp - ) și la un articol din literatura de specialitate (Szczesniak et al , ) Sumar - Design-uri de Cercetare Experimentale ● Analiză robustă a naturii/ realității ● Decizii informate ● Selectare/ Alocare aleatorie + Controlul variabilei dependente + Controlul covariatelor ● Design complet aleatoriu ● Design aleatoriu stratificat (în block-uri, RB-uri) ● Design de tip pătrat latin (LS-uri) ● Factori = Variabile independente majore ● Omega Squared ● Blocking = Stratificare (i e , izolează varianța variabilelor-zgomot) ● Design-urile factoriale cu confundate/ covariate reprezintă alternative la design-urile în block-uri, atunci când block-urile sunt prea mari ● Design-urile factoriale cu confundate/ covariate sunt fie RB-uri, fie LS-uri ● Design-urile ierarhice sunt fie design-uri complet aleatorii, fie RB-uri ● În design-urile ierarhice, tratamentele secundare sunt grupate ( nested ) în tratamentele inițiale ● ANCOVA = Regresie + ANOVA ● ANCOVA asigură controlul variabilelor confundate Bibliografie Selectivă - Design-uri de Cercetare Experimentale Adam, R S Y , & Hadi, Y ( ) The effect of writing format on student reading comprehension on paper media using completely randomized factorial design Journal of Engineering and Management in Industrial System , ( ), - https://doi org/ /ub jemis Carter, R E , Holmes III, D R , Fletcher, J G , & McCollough, C H ( ) Evaluation of Pseudoreader Study Designs to Estimate Observer Performance Results as an Alternative to Fully Crossed, Multireader, Multicase Studies Academic Radiology , ( ), - https://doi org/ /j acra Chen, W L , Ye, Q , Zhang, S C , Xia, Y , Yang, X , Yuan, T F , & Li, J A ( ) Aphasia rehabilitation based on mirror neuron theory: a randomized-block-design study of neuropsychology and functional magnetic resonance imaging Neural Regeneration Research , ( ), - https://doi org/ / - da Silva, I C B , Fernandes, L A , Colen, F , & Sampaio, R A ( ) Growth and production of common bean fertilized with biochar Ciência Rural , ( ), - https://doi org/ / - cr El-Helaly, S N , Habib, B A , & Abd El-Rahman, M K ( ) Resolution V fractional factorial design for screening of factors affecting weakly basic drugs liposomal systems European Journal of Pharmaceutical Sciences , , - https://doi org/ /j ejps Lim, T , Bong, J , Kang, J H , & Dennen, V ( ) The Effects of Information Volume and Distribution on Cognitive Load and Recall: Implications for the Design of Mobile Marker-less Augmented Reality Educational Technology International , ( ), - Available at http:// /kiss /preview asp Martindale, C ( ) The therapist-as-fixed-effect fallacy in psychotherapy research Journal of Consulting and Clinical Psychology , ( ), – https://doi org/ / - X Mistri, M , Munari, C , Pagnoni, A , Chenet, T , Pasti, L , & Cavazzini, A ( ) Accumulation of trace metals in crayfish tissues: is Procambarus clarkii a vector of pollutants in Po Delta inland waters? The European Zoological Journal , ( ), - https://doi org/ / Pine, P S , Munro, S A , Parsons, J R , McDaniel, J , Lucas, A B , Lozach, J , & Salit, M ( ) Evaluation of the External RNA Controls Consortium (ERCC) reference material using a modified Latin square design BMC Biotechnology , ( ), - https://doi org/ /s - - -x Purdum, S , Eusebio, P , & Hanford, K ( ) The effects of two genetic lines on spatial distribution and use and preference of perch and nest area in an aviary system Poultry Science , , - https://doi org/ /j psj Szczesniak, D , Ciulkowicz, M , Maciaszek, J , Misiak, B , Luc, D , Wieczorek, T , & Rymaszewska, J ( ) Psychopathological responses and face mask restrictions during the COVID- outbreak: Results from a nationwide survey Brain, Behavior, and Immunity , , - https://doi org/ % Fj bbi Resurse Online - Design-uri de Cercetare Experimentale Experimental Design A Quick Guide to Experimental Design | Steps & Examples Experimental Design | Research Methods Knowledge Base Experimental Design https://alexandercoppock com/menu statistical tools html Design-uri de Cercetare Cvasi-Experimentale Înainte de a începe acest capitol, vor fi listate notațiile de care va fi nevoie pentru înțelegerea schemelor generale ale modelelor de design-uri de cercetare cvasi-experimentale, după cum urmează: ● M = Materiale/ Instrumente utilizate pentru măsurare ● O = Observații/ Măsurători ● R = Alocare aleatorie ( Randomization ) ● X = Variabilă experimentală/ Intervenție/ Tratament Experiment pe Serii de Timp ( Time-Series Experiment ) Experimentul pe serii de timp constă în prezența unui proces periodic de măsurare a unui grup sau a unui individ Acest proces constă într-o introducere a unei schimbări experimentale în seria de timp, ale cărei rezultate sunt indicate prin discontinuitatea măsurătorilor din seria respectivă (Campbell & Stanley, ) Schema generală a modelului, ilustrată în continuare, alături de un articol (Rosmalen, Wenting, Roest, de Jonge, & Bos, ) vor permite înțelegerea aprofundată a acestui design de cercetare O O O O X O O O O Design pe Eșantioane Temporale Echivalente ( Equivalent Time-Sample Design ) Acest design reprezintă o formă de experimentare recurentă pe un singur grup În acest sens, se selectează două eșantioane echivalente din grupul respectiv Într-unul dintre eșantioane, variabila experimentală este prezentă, în timp ce în celălalt eșantion nu este (Campbell & Stanley, ) Schema generală a modelului, ilustrată în continuare, alături de un articol (Hayward et al , ) vor permite înțelegerea aprofundată a acestui design de cercetare X O X O X O X O Design cu Materiale/ Instrumente Echivalente ( Equivalent Materials Design ) Argumentul echivalenței eșantioanelor selectate este bazat pe materialele sau instrumentele cu ajutorul cărora sunt comparate variabilele experimentale (Campbell & Stanley, ) Schema generală a modelului, ilustrată în continuare, alături de un articol (Jetter, , pp - ) vor permite înțelegerea aprofundată a acestui design de cercetare M a X O M b X O M c X O M d X O Design Neechivalent cu Grup de Control ( Nonequivalent Control Group Design ) În cadrul acestui tip de design, grupurile constituie colective formate natural (e g , clase de elevi), pe cât de similare posibil, dar nu într-atât de similare încât să poată lipsi pretestarea Totodată, alocarea variabilei experimentale într-unul din grupuri este aleatorie (Campbell & Stanley, ) Schema generală a modelului, ilustrată în continuare, alături de un articol (Kenny, ) vor permite înțelegerea aprofundată a acestui design de cercetare O X O O O Design-uri Contrabalansate ( Counterbalanced Designs ) Aceste design-uri reprezintă design-uri prin care controlul experimental este obținut cu ajutorul alocării tuturor respondenților sau a condițiilor în toate formele de tratament sau intervenție (Campbell & Stanley, ) Schema generală a modelului, ilustrată în continuare, alături de un articol (Pollatek & Well, ) vor permite înțelegerea aprofundată a acestui design de cercetare Timp Timp Timp Timp Grup A X O X O X O X O Grup B X O X O X O X O Grup C X O X O X O X O Grup D X O X O X O X O Design cu Eșantion Separat Pretest-Posttest ( Separate Sample Pretest-Posttest Design ) Acest tip de design este utilizat în cazul în care, pentru populații mari (e g , orașe, fabrici, etc ), un cercetător poate încerca să controleze experimental condițiile de “ când ” și “ cui se adresează” măsurătorile, prin proceduri de alocare aleatorie În ciuda acestui fapt, este dificilă separarea de subgrupuri, în sensul administrării unor tratamente experimentale diferite (Campbell & Stanley, ) Schema generală a modelului, ilustrată în continuare, alături de un articol (Markert, O’Neill, & Bhatia, ) vor permite înțelegerea aprofundată a acestui design de cercetare R O (X) R X O Design cu Eșantion Separat Pretest-Posttest și Grup de Control ( Separate Sample Pretest-Posttest Control Group Design ) Acest tip de design este similar cu design-ul cu eșantion separat pretest-posttest, discutat anterior În cazul în care grupurile din care variabila experimentală poate fi păstrată sunt comparabile (i e , neechivalente), atunci poate fi adăugat un grup de control (Campbell & Stanley, ) În continuare, va fi ilustrată schema generală a modelului R O (X) R X O R O R O Design pe Serii Multiple de Timp ( Multiple Time-Series Design ) Acest tip de design este util în studierea schimbărilor majore, în timp Astfel, cercetătorul caută o instituție similară care nu a implementat variabila experimentală X, drept “grup de control” Adițional, este ideal ca X să fie alocat aleatoriu (Campbell & Stanley, ) Schema generală a modelului, ilustrată în continuare, alături de un articol (Chung, Wan, Kuo, Lin, & Liu, , pp - ) vor permite înțelegerea aprofundată a acestui design de cercetare O O O O X O O O O O O O O O O O O Design-ul Ciclului Instituțional Recurent ( Recurrent Institutional Cycle Design ) Acest tip de design este cunoscut și drept un design “ patched-up ” (Campbell & Stanley, , p ), prin prisma faptului că un cercetător pornește la drum cu un design neadecvat și adaugă, pe parcurs, elemente specifice (e g , alte măsurători), cu scopul de a controla erori recurente de validitate În cele ce urmează, vor fi delimitate două tipuri de scheme generale (i e , un model ideal și un model real, de tip studiu de caz), alături de un articol (Di Noia, Orr, & Byrd-Bredbenner, ) din literatura de specialitate, pentru aprofundare Model Ideal Eșantion A X O Eșantion B O X O Model Real (Studiu de Caz - Școală) Clasa A X O Clasa B R O X O Clasa B R X O Clasa C O X Analiza Regresie-Discontinuitate ( Regression-Discontinuity Analysis ) Analiza regresie-discontinuitate este utilizată, majoritar, în scopuri educaționale Design-ul respectiv este dezvoltat în situația în care au fost deja utilizate analize ex post facto (i e , analize în care investigația începe abia după ce un anumit eveniment a avut loc, fără implicare din partea cercetătorului) (Campbell & Stanley, ; Salkind, b) Schema generală a modelului, propusă de Campbell și Stanley ( , p ), alături de un articol (Lee, ) vor permite înțelegerea aprofundată a acestui design de cercetare Sumar - Design-uri de Cercetare Cvasi-Experimentale ● Experimentele pe serii de timp presupun măsurători longitudinale, în cadrul cărora este prezent un singur tip de intervenție ● Design-ul pe eșantioane temporale echivalente presupune introducerea repetată a variabilei experimentale De asemenea, unul dintre eșantioane simulează grupul de control ● Design-ul cu instrumente echivalente presupune compararea intervențiilor în funcție de instrumentele utilizate în măsurare ● Design-urile neechivalente cu grup de control presupun alocarea aleatorie a variabilei experimentale În acest sens, grupul experimental primește intervenția X, în timp ce grupul de control nu primește intervenția X Este important de menționat faptul că aceste grupuri sunt formate natural ● Design-urile contrabalansate sunt utilizate pentru compararea diverselor intervenții, în cazul grupurilor multiple, în momente de timp multiple Totodată, alocările se fac prin rotație ● Un design cu eșantion separat pretest-posttest se poate dovedi de interes pentru controlul experimental asupra unor populații mari În cadrul acestui tip de design, alocarea participanților în grupurile de interes este aleatorie ( R ) Intervenția este opțională în primul grup, dacă se regăsește în cel de-al doilea ● Principiile design-ului cu eșantion separat pretest-posttest pot fi extrapolate la același tip de design cu grup de control (i e , grup în care participanții nu primesc intervenție) adițional ● În cadrul design-ului pe serii multiple de timp, grupurile diferă prin prezența sau absența lui X Modelul design-ului cuprinde două grupuri și măsurători în momente similare de timp De asemenea, intervenția ( X ) ar trebui să fie alocată aleatoriu ● În cadrul unui design de tip ciclu instituțional recurent, se pornește la drum cu un design neadecvat, adăugându-se, pe parcurs, elemente specifice, cu ajutorul cărora cercetătorul compensează validitatea scăzută a studiului ● Analiza regresie-discontinuitate vizează punctul de discontinuitate în varianța variabilei dependente (VD) (e g , scorurile unui test), respectiv amplificarea sau diminuarea efectului variabilei independente (VI) (e g , timp) ● Explicația simplă a analizei regresie-discontinuitate: “Intervenția a avut vreun efect, în timp?” ● Explicația mai complexă a analizei regresie-discontinuitate: “Dacă VD rămâne pe loc, în timp ce VI crește/ scade, ce se va întâmpla cu VD, la un anumit moment? Va crește sau va scădea, concomitent cu VI?” Bibliografie Selectivă - Design-uri de Cercetare Cvasi-Experimentale Chung, F F , Wan, G H , Kuo, S C , Lin, K C , & Liu, H E ( ) Mother–infant interaction quality and sense of parenting competence at six months postpartum for first-time mothers in Taiwan: a multiple time series design BMC Pregnancy and Childbirth , ( ), - https://doi org/ /s - - - Di Noia, J , Orr, L , & Byrd-Bredbenner, C ( ) Residential summer camp intervention improves camp food environment American Journal of Health Behavior , ( ), - https://doi org/ /AJHB Hayward, K L , Martin, J H , Cottrell, W N , Karmakar, A , Horsfall, L U , Patel, P J , & Valery, P C ( ) Patient-oriented education and medication management intervention for people with decompensated cirrhosis: study protocol for a randomized controlled trial Trials , ( ), - https://doi org/ /s - - - Jetter, J T ( ) A systematic approach to aural-visual identification instruction in music for young children Journal of Research in Music Education , ( ), - https://doi org/ % F Kenny, D A ( ) A quasi-experimental approach to assessing treatment effects in the nonequivalent control group design Psychological Bulletin , ( ), – https://doi org/ / - Lee, D S ( ) The Electoral Advantage to Incumbency and Voters' Valuation of Politicians' Experience: A Regression Discontinuity Analysis of Elections to the US House (pp - ) (No w ) National Bureau of Economic Research https://doi org/ /w Markert, R J , O'Neill, S C , & Bhatia, S C ( ) Using a quasi‐experimental research design to assess knowledge in continuing medical education programs Journal of Continuing Education in the Health Professions , ( ), - https://doi org/ /chp Pollatsek, A , & Well, A D ( ) On the use of counterbalanced designs in cognitive research: A suggestion for a better and more powerful analysis Journal of Experimental Psychology: Learning, Memory, and Cognition , ( ), - https://doi org/ / - Rosmalen, J G , Wenting, A M , Roest, A M , de Jonge, P , & Bos, E H ( ) Revealing causal heterogeneity using time series analysis of ambulatory assessments: application to the association between depression and physical activity after myocardial infarction Psychosomatic Medicine , ( ), - https://doi org/ /PSY b e d Resurse Online - Design-uri de Cercetare Cvasi-Experimentale Time-Series Study - SAGE Research Methods The Value of Interrupted Time-Series Experiments for Community Intervention Research Design and Analysis of Time Series Experiments DESIGN AND ANALYSIS OF RESEARCH USING TIME SERIES Equivalent time-samples design - Equivalent time-samples design Definition and Distinctive Features This is a quasi-experimental research design(see Fostering Critical-Thinking Abilities and Their Effectiveness An RN-BSN Program in Taiwan Equivalent materials pretest-posttest design - Equivalent materials pretest posttest design Definition and Distinctive Features It is a https://academicjournals org/journal/ERR/article-full-text-pdf/ AA pdf https://www jstor org/stable/ ?seq= #metadata info tab contents Non-Equivalent Groups Designs – Research Methods in Psychology Nonequivalent Groups Design | Research Methods Knowledge Base Nonequivalent Group Design - Reichardt - - Major Reference Works Counterbalanced Measures Design - Counterbalancing Test Groups Counterbalancing - SAGE Research Methods Counterbalancing in Research Counterbalancing | Topics | Psychology | tutor u Separate Pre-Post Samples design http://statmath wu ac at/~salzberger/quantmeth/pdfdownloaddirectory/Topic Trochim c hapter quasiexperimentaldesign pdf https://academic oup com/cs/article-abstract/ / / / ?redirectedFrom=PDF A separate-sample pretest-post-test design to evaluate a : Academic Medicine https://socialinquiry files wordpress com/ / /lect- experiments on-line ppt Other Quasi Designs | Research Methods Knowledge Base Cross-sectional time-series experiments: Some suggested statistical analyses Understanding and using time series analyses in addiction research Multiple Time Series Design What is a multiple time series design? Research Designs Pre-experimental Designs for Research The Concept of Exchangeability in Designing Telecourse Evaluations + Survey and Qualitative Research Regression-Discontinuity Analysis | Research Methods Knowledge Base A Practical Guide to Regression Discontinuity Regression Discontinuity Analysis Data Analysis Notes Modern Regression Discontinuity Analysis Design-uri de Cercetare Non-Experimentale Studiu Transversal ( Cross-Sectional ) Definiție și Caracteristici Studiile transversale sunt preocupate de obținerea unui eșantion reprezentativ prin analiza unei secțiuni transversale dintr-o populație Toate măsurătorile, în cadrul acestui design, sunt obținute într-un singur punct temporal, în ciuda faptului că recrutarea participanților poate fi de durată (e g , pe parcursul a doi ani) Totodată, design-ul transversal este adecvat pentru estimarea prevalenței unui comportament sau a unei tulburări dintr-o populație Deseori, aceste tipuri de studii sunt bazate pe date obținute din sondaje sau chestionare (Sedgwick, a) Avantaje și Dezavantaje Ca avantaje, studiile transversale sunt, în general, rapide și ușor, respectiv ieftin de implementat Nu există riscul de pierdere a respondenților la follow-up , deoarece se măsoară o singură dată Totodată, pot fi înregistrați mai mulți factori de risc și pot fi evaluate mai multe consecințe Astfel, studiile transversale pot informa ipoteze ale viitoarelor cercetări mai complexe (e g , studii pe cohorte) (Sedgwick, a) Ca dezavantaje, studiile transversale pot fi expuse riscului erorii de participare (engl , “ participation / non-response bias ”, momentul în care participanții care nu răspund sunt diferiți de participanții care răspund) În acest sens, prevalențele riscă să fie subapreciate sau supraapreciate de către cercetători (Prince, ) Nu în ultimul rând, cea mai importantă limitare a studiilor transversale este aceea că pot fi inferate doar asocieri, nu și cauzalități (Sedgwick, a) Studiu de Tip Case-Control Definiție și Caracteristici Studiile de tip case-control sunt un tip de studii observaționale Participanții sunt recrutați în baza statutului unei variabile de interes (e g , afecțiune, tulburare, boală, etc ) Totodată, unii participanți au parte de un rezultat în privința variabilei de interes (i e , participanți din grupul cases ), alții nu au parte de un astfel de rezultat (i e , participanții din grupul control ) Condițiile participanților cases ar trebui să fie stipulate cât mai specific și detaliat posibil Pentru a se asigura faptul că grupul cases și grupul control prezintă, majoritar, caracteristici similare, deseori cercetătorii utilizează tehnici de matching (Setia, ) Avantaje și Dezavantaje Ca avantaje, studiile de tip case-control sunt relativ rapide și necostisitoare, utile pentru studierea unor consecințe rare și ale unor consecințe cu perioadă lungă de latență Totodată, acestea sunt utile și în studierea expunerilor multiple la aceeași consecință, respectiv în studierea asocierii dintre factorii de risc și consecințe, în cazul unei epidemii (Setia, ) Ca dezavantaje, studiile de tip case-control nu sunt, neapărat, utile în studierea expunerilor rare (i e , mai util ar putea fi un studiu pe cohorte), sau în studierea consecințelor multiple (i e , este un design limitat la o consecință specifică) În cadrul acestor studii, nu pot fi estimate incidențe și prevalențe Câteodată, temporalitatea expunerii și consecința nu sunt stabilite clar într-un astfel de studiu Nu în ultimul rând, studiile de tip case-control pot fi eronate (e g , eroarea de selecție și eroarea de amintire, “ recall bias ”) (Setia, ) Studiu de Tip Înainte-După ( Before-and-After ) Definiție și Caracteristici Denumit și “ pre-post study ”, acest tip de studiu măsoară consecințele într-un grup de participanți înainte și după introducerea unui tratament sau a unei intervenții Astfel, identificarea schimbărilor se face cu ajutorul unei consecințe specifice Acest tip de studiu ajută la explorarea eficienței tratamentului sau a intervenției (Public Health England, ) Totodată, studiile de tip înainte-după pot fi “necontrolate” sau “controlate”, în funcție de natura design-ului de cercetare utilizat (Sedgwick, b) Avantaje și Dezavantaje Ca avantaje, studiile de tip înainte-după ne pot spune ceva despre efectul tratamentului sau al intervenției Totodată, acestea nu necesită selectare sau alocare aleatorie, nu sunt costisitoare, din punctul de vedere al resurselor și pot fi derulate în timp ce tratamentul sau intervenția sunt aplicate (Public Health England, ) Ca dezavantaje, studiile de tip înainte-după nu pot spune cu certitudine dacă tratamentul sau intervenția este cauza reală a unui efect observat Adițional, în cazul în care nu există diferențe înainte și după administrarea tratamentului sau a intervenției, rezultatele devin dificil de interpretat (Public Health England, ) Studiu Retrospectiv de Tip Istoric cu Grup de Control ( Historical Controls ) Definiție și Caracteristici Studiile de tip historical controls constau în compararea unui nou tratament sau a unei noi intervenții, pe un anumit set de subiecți, cu un tratament vechi sau cu o intervenție veche, pe un set anterior de subiecți Acest tip de design este utilizat în cazuri de limitări etice, în privința grupului de control (Baker & Lindeman, ) Avantaje și Dezavantaje Dintre avantaje, amintim costurile reduse ale studiilor de tip historical controls , alături de posibilitatea de alocare a multiple resurse grupului experimental (Baker & Lindeman, ) Ca dezavantaje, pot fi amintite inabilitatea de selectare sau alocare aleatorie, inabilitatea de blinding , metodologia diferită de diagnosticare (i e , cunoscută și sub denumirea de “eroare de replicare”), efectele specifice tendințelor temporale (Pandis & Cobourne, ), respectiv eroarea de selecție (Baker & Linderman, ) Sondaje/ Chestionare Definiție și Caracteristici Aceste tipuri de design-uri reprezintă metode de colectare a datelor fie în sens descriptiv, fie în sens predictiv (Goddard III & Villanova, ) O caracteristică importantă este aceea că sunt restrânse la un eșantion reprezentativ pentru grupul de care este interesat un cercetător, din motive de practicalitate și de cost-eficacitate Sondajele și chestionarele pot fi transversale, longitudinale (e g , pe cohorte sau pe tendințe) sau corelaționale Adițional, acestea dispun de trei metode de colectare a datelor: ( ) interviuri față-în-față; ( ) interviuri telefonice; și ( ) chestionare (Mathers, Fox, & Hunn, ) Avantaje și Dezavantaje Printre avantajele sondajelor și chestionarelor, putem include validitatea internă și externă, eficacitatea, faptul că pot acoperi eșantioane distribuite geografic, pot avea avantaje etice (e g , neinvazive) și sunt flexibile (Mathers et al , ) Dezavantajele sondajelor și chestionarelor constau în faptul că acestea sunt dependente de cadrul eșantionării, neexplicând de ce oamenii gândesc sau fac ceea ce se poate observa Adițional, sondajele de tip interviu au eficacitatea direct proporțională cu abilitatea intervievatorului (Mathers et al , ) Studiu de Caz de Tip Case Series Definiție și Caracteristici Cunoscute și drept studii “ clinical series ”, acestea descriu experiențele unui grup restrâns de subiecți Se poate afirma, în acest sens, că este o variație a unui studiu de caz de tip single case report (discutat în subcapitolul următor) Studiile de caz de tip case series reprezintă design-uri de cercetare observaționale, descriptive, ce pot fi derulate atât retrospectiv, cât și prospectiv În acest sens, cercetătorul nu manipulează intervenția sau tratamentul, ci doar descrie ce se întâmplă în cursul normal al acesteia sau al acestuia, prezentând subiecții într-un mediu clinic natural (pentru mai multe detalii, vezi El-Gilany, a) Avantaje și Dezavantaje Ca avantaje, studiile de tip case series aduc valoare în cercetarea epidemiologică În acest sens, sunt utile pentru generarea de ipoteze (i e , nu pot fi trase concluzii cu privire la etiologie), utilizează doar informații despre cazuri (i e , nu este nevoie de un grup de control), derularea studiului este de scurtă durată și acesta nu interferează cu procesul de decizie privind intervenția sau tratamentul (pentru mai multe detalii, vezi El-Gilany, a) Dintre dezavantaje, amintim faptul că studiile de tip case series nu pot investiga relații de tip cauză-efect (i e , nu poate fi inferată cauzalitatea), nu pot evalua frecvența bolii, a tulburării sau a afecțiunii, sunt pasibile de eroare de selecție (engl , “ selection bias ”) Adițional, o anumită consecință poate fi cauzată de șansă, nu neapărat de o boală, tulburare sau afecțiune Nu în ultimul rând, studiile de tip case series au o validitate internă scăzută, din cauza lipsei grupului de control (pentru mai multe detalii, vezi El-Gilany, a) Studiu de Caz de Tip Case Report Definiție și Caracteristici Studiul de tip case report este un tip specific de design de cercetare ce raportează un aspect pe unul sau maxim doi subiecți În acest sens, este utilizat pentru a descrie situații excepționale ce reprezintă o provocare pentru teoreticieni și practicieni deopotrivă Așadar, se numără printre cele mai puțin publicate forme de cercetare științifică Cu toate acestea, poate aduce noi cunoștințe și valori ce țin de informarea practicienilor Un aspect important de reținut este acela că trebuie să fie bine făcută distincția dintre studiile de tip case series , cele de tip case studies , studiile clinice și cele de tip case report form (pentru mai multe detalii, vezi El-Gilany, b) Avantaje și Dezavantaje Printre avantajele studiilor de tip case reports se numără descrierea observațiilor științifice și clinice ce ar putea fi omise de o “treaptă mai înaltă” a ierarhiei evidențelor (e g , meta-analize, studii clinice controlate, etc ; acest aspect va fi explorat în cadrul subcapitolului materialului actual dedicat ierarhiei evidențelor) Totodată, acest tip de studii reprezintă propuneri valide pentru studii cu design-uri mai puternice, fiind capabil de generarea de ipoteze Deseori, sunt utilizate atât în demersuri de învățare, cât și în demersuri de cercetare (pentru mai multe detalii, vezi El-Gilany, b) Printre dezavantajele studiilor de tip case reports se numără nivelul scăzut de evidență, potențial cauzat de erori de observare, faptul că rezultatele nu pot fi generalizate, faptul că acestea nu prezintă date cu ajutorul cărora să se poată calcula rate de prevalență ale anumitor boli, tulburări sau afecțiuni, nu prezintă o bună validitate științifică (i e , prin lipsa grupului de control) și sunt articole infrecvent citate, având potențialul de a scădea factorul de impact al unui jurnal (pentru mai multe detalii, vezi El-Gilany, b) Sumar - Design-uri de Cercetare Non-Experimentale ● Studiile transversale reprezintă observații ale unui grup într-un singur moment de timp Acestea sunt utile pentru calcularea ratelor de prevalență și pentru colectarea rapidă a datelor preliminare (Thompson & Panacek, ) ● Studiile de tip case-control sunt utile pentru testarea unei potențiale cauze a unei afecțiuni Aceste studii sunt structurate de la efect înspre cauză și conțin grup de control (Thompson & Panacek, ) ● Studiile de tip înainte-după cuantifică schimbarea într-o formă de terapie sau de mediu, între două măsurări (Thompson & Panacek, ) ● Studiile de tip historical controls sunt similare cu cele înainte-după Acestea nu necesită o perioadă absolută axată pe “schimbare” Studiile de tip historical controls sunt utilizate atunci când un grup de control nu poate fi inclus (i e , din considerente etice sau de altă natură) În acest sens, foști respondenți (i e , din date istorice) formează grupul de control (Thompson & Panacek, ) ● Sondajele și chestionarele adresează în mod direct întrebările cercetării și “adună” răspunsurile Tocmai din acest punct de vedere, există un potențial ridicat de erori, în cazul în care nu sunt corect întocmite (Thompson & Panacek, ) ● Studiile de tip case series cuprind descrierea unei serii de respondenți cu aceeași caracteristică definită Un astfel de tip de studiu poate fi derulat fie cu ajutorul unui grup consecutiv, fie selectiv, neprezentând grup de control (Thompson & Panacek, ) ● Studiile de tip case report sunt preocupate de descrierea unui singur caz, cu scopul de a raporta noi descoperiri Astfel, acestea constituie un demers unic de educare și informare (Thompson & Panacek, ) Resurse Online - Design-uri de Cercetare Non-Experimentale Methodology Series Module : Cross-sectional Studies Cross-Sectional Study | Definitions, Uses & Examples Cross Sectional Study - an overview Epidemiology in Practice: Case-Control Studies Case Control - Study Design Definition of case-control study - NCI Dictionary of Cancer Terms Case-Control Studies - an overview Statistical inference in matched case–control studies of recurrent events Quality improvement studies – pitfalls of the before and after study design Before-and-after studies • LITFL • CCC Research Before-and-after design: A simple evaluation design Bias in Before–After Studies: Narrative Overview for Anesthesiologists The Limitations of Before and After Designs Historical control | definition of historical control Use of historical control data for assessing treatment effects in clinical trials Historical Controls? Historical Controls for Clinical Trials A roadmap to using historical controls in clinical trials – by Drug Information Association Adaptive Design Scientific Working Group (DIA-ADSWG) Survey vs Questionnaire: What's the difference? Questionnaire Examples, Questions, & Templates to Survey Your Clients Psychological Assessment Scales And Measures Questionnaires for Researchers Researchcentral Clarifying the distinction between case series and cohort studies in systematic reviews of comparative studies: potential impact on body of evidence and workload Clinical “case series”: a concept analysis How to Design a Good Case Series © Joanna Briggs Institute Critical Appraisal Checklist for Case Retrospective Study: Case-Control and Case-Series How to write a patient case report Journal of Medical Case Reports | Home page Guidelines To Writing A Clinical Case Report Case report Guidelines for Submitting Case Reports Case Studies Modele de cercetare non-experimentale Introducere Overview of Nonexperimental Research – Research Methods in Psychology http://psychology iresearchnet com/social-psychology/social-psychology-research-methods /nonexperimental-designs/ Chapter : Nonexperimental Research Alte Design-uri de Cercetare Studii Corelaționale Definiție și Caracteristici Studiile corelaționale sunt studii descriptive, similare cu studiile transversale, despre care am discutat anterior Scopul principal al studiilor corelaționale este acela de a explora asocieri între variabile În plus, acestea pot fi implementate cu ușurință și pot acumula cantități relativ mari de date, relativ rapid (Thompson & Panacek, ) Limitări Având în vedere că studiile corelaționale urmăresc asocierile dintre variabile, este important de menționat că o asociere nu marchează, neapărat, faptul că variabilele respective sunt cu adevărat asociate (i e , asocierea poate fi datorată șansei) Ba chiar nici evidențele puternice ale asocierilor dintre variabile nu reprezintă, neapărat, cauzalitate Totodată, relațiile temporale dintre variabile sunt, deseori, incerte (i e , dileme de tip “Cine a fost primul? Oul sau găina?”) (Thompson & Panacek, ) Meta-Analize Definiție și Caracteristici Meta-analizele pot fi definite ca modele de cercetare ce nu implică o nouă colectare de date, ci mai degrabă o reanalizare a datelor anterior colectate și raportate de către alți cercetători Aceste modele de cercetare presupun ca analizele statistice ale rezultatelor din două sau mai multe studii independente să fie analizate cu scopul de integrare a rezultatelor și de dezvoltare a unor concluzii generale În particular, meta-analizele sunt utile atunci când numărul de studii derulate corespunzător este scăzut, în literatura de specialitate Astfel, o meta-analiză poate sistematiza rezultatele unor studii mici, oferind, astfel, concluzii generale optimizate (Thompson & Panacek, ) Limitări Firește, chiar și meta-analizele pot veni cu limitări, în funcție de criteriile robuste de incluziune, în cazul în care acestea nu sunt suficient de robuste Totodată, calitatea globală a meta-analizelor este pe atât de robustă pe cât este și calitatea studiilor incluse în acestea (Thompson & Panacek, ) Revizuiri Sistematice ( Systematic Reviews ) Definiție și Caracteristici Revizuirile sistematice sunt studii ce implică o recenzie (denumită și “revizuire”) cât mai obiectivă cu putință a corpului de literatură pe un anumit subiect, cu scopul de identificare a concluziilor și recomandărilor În cadrul revizuirilor sistematice, nu sunt utilizate proceduri statistice meta-analitice pentru sumarizarea evidențelor Aceste studii sunt utilizate cu scopul de popularizare a curentului evidence-based (Thompson & Panacek, ) Limitări Ca limitări ale revizuirilor sistematice, amintim gradul de validitate științifică (i e , acesta poate varia, în funcție de procesul de selecție al articolelor utilizat) și subiectivitatea (i e , fapt dependent de opiniilor autorului sau ale autorilor) (Thompson & Panacek, ) Studii Cost-Beneficiu ( Cost-Benefit ) Definiție și Caracteristici Studiile cost-beneficiu reprezintă forme de evaluare economică în care costurile unei anumite intervenții sunt comparate cu beneficiile intervenției propriu-zise În acest sens, un număr de asumpții este deseori inclus în analiză (e g , “Care este valoarea unui an suplimentar, în privința acestei condiții?”) (Thompson & Panacek, ) Limitări Limitările studiilor cost-beneficiu constau în identificarea naturii, a intervalelor și a motivelor din spatele asumpțiilor anterior menționate (i e , acest fapt poate reprezenta o sursă de eroare, pentru modelele de analiză propuse) (Thompson & Panacek, ) Studii Cost-Eficacitate ( Cost-Effectiveness ) Definiție și Caracteristici Similare cu studiile de tip cost-beneficiu, studiile cost-eficacitate compară programe, terapii sau intervenții alternative, în termeni de costuri generale per grad de efect clinic (e g , terapia X poate crește cu % bunăstarea autoraportată a subiecților, într-un caz specific) Acest tip de studii necesită efort de grup (e g , grupuri de clinicieni, biostatisticieni și, câteodată, economiști) (Thompson & Panacek, ) Limitări Limitările acestui tip de studii constau chiar în faptul că metodologia specifică studiilor cost-eficiență (i e , și chiar și cost-beneficiu) nu este una standardizată În acest sens, acest tip de studii prezintă variabilitate mare, fiind un model de cercetare avansat, ce necesită un anumit nivel de expertiză (Thompson & Panacek, ) Resurse Online - Alte Design-uri de Cercetare How Correlational Studies Are Used in Psychology An Example Of A Correlational Study Meta-Analysis - an overview https://www meta-analysis com/pages/why do php?cart=BRED Systematic Reviews | Home page What is a systematic review? (pdf) Cost Benefit Analysis: An Expert Guide Cost-Benefit Analysis (CBA) Cost-Effectiveness Analysis Cost-effectiveness analysis for health interventions Ierarhia Evidențelor Accepția Clasică Accepția clasică a ierarhiei evidențelor poate fi caracterizată ca un model structurat ierarhic, rigid și suprasimplificat Schema generală a ierarhiei evidențelor este una destul de cunoscută În acest sens, conform articolului lui Murad, Asi, Alsawas și Alahdab ( , p ), schema va fi ilustrată, în continuare Scurte Definiții Pentru o scurtă recapitulare a modelelor de cercetare și a tipurilor de studii ierarhizate în cadrul “piramidei” evidențelor, se va face o scurtă trecere în revistă a definițiilor acestora, după cum urmează Case Series și Case Reports Un studiu de tip case report reprezintă un raport detaliat al diagnosticului, tratamentului sau intervenției, răspunsului la tratament sau intervenție și follow-up după tratament sau intervenție, pentru un singur subiect Astfel, un studiu de tip case series reprezintă un grup de studii de tip case report care implică tratament sau intervenție similar(ă) pentru subiecții analizați (Boston University Medical Campus, n d ) Case Control Studies Studiile de tip case control reprezintă studii observaționale cu grup de control, în care participanții sunt selectați în baza statutului variabilei (i e , consecinței) de interes pentru cercetător (Setia, ) Cohort Studies Studiile pe cohorte sunt studii în care unul sau mai multe eșantioane (denumite “cohorte”) sunt urmărite prospectiv, cu scopul de a determina ce caracteristici inițiale ale participanților sunt asociate cu o anumită consecință (e g , boli, tulburări, afecțiuni, etc ) (Himmelfarb Health Sciences Library, n d ) Randomized Controlled Trials ( RCTs ) Studiile clinice controlate sunt studii prospective ce măsoară eficacitatea unei noi intervenții sau a unui nou tratament (Hariton & Locascio, ) Systematic Review și Meta-Analysis Revizuirile sistematice sunt cercetări ce implică un plan detaliat și comprehensiv și o strategie de căutare propuse a priori (i e , înainte de a începe cercetarea propriu-zisă), în sensul reducerii cantității de erori prin identificarea, evaluarea și sintetizarea tuturor studiilor relevante, pe o anumită temă (Uman, ) Meta-analizele pot fi privite drept componente ale revizuirilor sistematice, ce presupun utilizarea de proceduri statistice pentru sintetizarea datelor din multiple studii într-o singură estimare cantitativă sau mărime a efectului (Pattincrew & Roberts, , în Uman, ) Ediția Revizuită Astfel, ediția revizuită a ierarhiei evidențelor propune un model dinamic, în care treptele superioare de evidență reprezintă o lentilă prin care pot fi privite celelalte forme de evidență Pentru integrarea acestei informații, schema generală a modelului, conform articolului lui Murad și al colaboratorilor săi ( , p ), este propusă, în continuare Resurse Online - Ierarhia Evidențelor Hierarchy of Evidence and Study Design - OHSU Evidence-Based Practice Course for Interprofessional Clinical Teams Pyramids are guides not rules: the evolution of the evidence pyramid Academic Guides: Evidence-Based Practice Research: Levels of Evidence Pyramid UC Library Guides: Evidence-Based Practice in Health: Hierarchy of Evidence Hierarchy of evidence OCEBM Levels of Evidence https://www youtube com/watch?v=-omKRqfQaY &t= s Statistică Fidelitatea Definiție și Tipuri de Fidelitate Fidelitatea reprezintă abilitatea de replicare a rezultatelor într-o modalitate consistentă în timp și în spațiu (Souza, Alexandre, & Guirardello, ) Există tipuri de fidelitate, după cum urmează: ● Fidelitatea inter-evaluator ● Fidelitatea test-retest (intra-evaluator) ● Fidelitatea de tip forme paralele (forme echivalente) ● Fidelitatea de tip consistență internă Fidelitatea Inter-Evaluator Definiție și Caracteristici Fidelitatea inter-evaluator poate fi înțeleasă drept măsura în care doi sau mai mulți evaluatori sunt de acord în privința măsurătorilor efectuate Fidelitatea inter-evaluator adresează subiectul consistenței implementării unui sistem de scorare În acest sens, o fidelitate inter-evaluator mare indică un grad ridicat de acord între cei doi evaluatori, în timp ce o fidelitate inter-evaluator mică indică un grad scăzut de acord între cei doi evaluatori (Lange, ) Pentru o înțelegere aplicată a conceptului de fidelitate inter-evaluator, se va face apel la un articol (Lobbestael, Leurgans, & Arntz, ) din literatura de specialitate Statistici Uzuale Pentru cuantificarea fidelității inter-evaluator, există o serie de statistici uzuale utilizate, listate și explicate după cum urmează: ● Procentajul de acord ● Kappa -ul lui Cohen ( Cohen’s Kappa ) ● Corelația produs-moment ( product-moment correlation , coeficientul ρ de corelație al lui Spearman) ● Coeficientul de corelație intra-clasă ( intraclass correlation coefficient ) Procentajul de Acord Această metrică poate fi înțeleasă prin intermediul formulei: (numărul de acorduri privind observațiile/ numărul total de observații)* (Lange, ) Kappa -ul lui Cohen Indicele kappa al lui Cohen este un coeficient standardizat ce ia valori între - și + În acest sens, McHugh ( , p ) propune un ghid de interpretare a valorilor coeficientului, ce va fi ilustrat în continuare Corelația Produs-Moment Cunoscut și drept coeficientul ρ de corelație al lui Spearman, această metrică indică măsura gradului de dependență dintre două variabile selectate aleatoriu (Nishisato & Torii, ) Coeficientul de Corelație Intra-Clasă Această metrică implică o procedură statistică bazată pe analiza varianței și pe estimarea componentei acesteia În sens univariat, rata de varianță poate fi interpretată drept coeficient de corelație În sens bivariat (i e , varianța inter-evaluator este eliminată), se recomandă precauție în interpretare (Bartko, ) Fidelitatea Test-Retest/ Intra-Evaluator Acest tip de fidelitate presupune măsurarea subiecților în două ocazii diferite, cu acelșai instrument, fapt urmat de indicarea corelației dintre măsurători (Collins, ) Totodată, fidelitatea test-retest poate fi înțeleasă și drept gradul în care scorurile obținute de la aceiași participanți rămân consistente pe o perioadă redusă de timp, în care competențele și/ sau problemele respondenților nu se modifică semnificativ (McConaughy, ) Astfel, fidelitatea intra-evaluator necesită două administrări ale aceluiași instrument, într-o perioadă de timp în care nu au survenit schimbări în conceptul-țintă măsurat (Beaton, Boers, & Tugwell, ) Pentru o înțelegere aplicată a conceptului de fidelitate test-retest, se va face apel la un articol (Backhaus, Junghanns, Broocks, Riemann, & Hohagen, ) din literatura de specialitate Fidelitatea de Tip Forme Paralele/ Forme Echivalente Acest tip de fidelitate presupune subseturi diferite ale aceluiași set de itemi (i e , din cadrul aceleiași scale) ce surprind atribute similare, cu precizie similară Comparativ cu fidelitatea test-retest, fidelitatea de tip forme echivalente previne eforturile sistematice de corespondență între prima măsurare a unui atribut și cea de-a doua Astfel, nu există riscul de a surveni erori de memorare a testelor sau de obișnuință a respondenților cu testele Totodată, fidelitatea de tip forme paralele conferă posibilitatea măsurătorilor repetate ale aceluiași atribut, independent de prima măsurare (Hilger & Beauducel, ) Pentru o înțelegere aplicată a conceptului de fidelitate de tip forme paralele, se va face apel la un articol (Brandt, ) din literatura de specialitate Fidelitatea de Tip Consistență Internă Definiție și Caracteristici Fidelitatea de tip consistență internă reflectă măsura în care itemii unui instrument măsoară anumite aspecte ale aceleiași caracteristici sau ale aceluiași construct (Revicki, ) Acest tip de fidelitate estimează cât de mult ar varia scorurile totale ale unui test, în momentul în care ar fi utilizați itemi relativ diferiți (Salkind, c) Statistici Uzuale Pentru cuantificarea fidelității de tip consistență internă, există o serie de statistici uzuale utilizate, după cum urmează: ● α -ul lui Cronbach ( Cronbach’s Alpha ) ● Corelația medie inter-itemi ● Fidelitatea Split Half ● Kuder-Richardson ( KR- ) Pentru o înțelegere aplicată a conceptului de fidelitate de tip forme paralele, se va face apel la un articol (McCrae, Kurtz, Yamagata, & Terracciano, ) din literatura de specialitate α -ul lui Cronbach Această metrică este una dintre cele mai des întâlnite și utilizate metrici din cercetarea aplicată în domeniul psihologiei Poate fi înțeles drept o măsură a consistenței interne a unui test, ce ia valori între și Este important de menționat că un coeficient α nu arată, întotdeauna, o consistență internă ridicată Adițional, este cunoscut că indicele α este afectat de lungimea unui test (Tavakol & Dennick, ) Corelația Medie Inter-Itemi Această metrică reprezintă, pur și simplu, media corelațiilor dintre toate perechile de itemi (Glen, ) Fidelitatea Split Half Acest tip de fidelitate implică înjumătățirea unui test și corelarea scorurilor respondenților pe cele două jumătăți de test Astfel, necesită o singură administrare a unui test, reprezentând o alternativă convenientă a metodei test-retest și a fidelității de tip forme echivalente Fidelitatea Split Half a fost utilizată, majoritar, înaintea descoperirii indicelui α (Zhu & Lowe, ) Kuder-Richardson ( KR- ) Această formulă de fidelitate este utilizată pentru măsurătorile cu variante dihotomice de răspuns (e g , cu și , cu da și nu, etc ) (Nugroho, Warnars, Heriyadi, & Tanutama, ) Sumar - Fidelitatea ● Fidelitatea presupune repetarea consistentă a rezultatelor ● Există forme de fidelitate ● Fidelitatea inter-evaluator reprezintă măsura acordului dintre doi sau mai mulți utilizatori Cele mai des întâlnite metrici ale fidelității inter-evaluator sunt: procentajul de acord, kappa -ul lui Cohen, corelația produs-moment și coeficientul de corelație intra-clasă ● Fidelitatea test-retest presupune măsurarea acelorași participanți, în două momente diferite de timp, cu aceleași instrumente, de către aceiași evaluatori ● Fidelitatea de tip forme paralele presupune subseturi paralele/ echivalente ale aceluiași test, în cadrul unor măsurători repetate independente ● Fidelitatea de tip consistență internă reprezintă corelația testului cu el însuși Cele mai des întâlnite metrici ale fidelității de tip consistență internă sunt: alfa -ul lui Cronbach, corelația medie inter-itemi, fidelitatea Split Half și indicele KR- Bibliografie Selectivă - Fidelitatea Backhaus, J , Junghanns, K , Broocks, A , Riemann, D , & Hohagen, F ( ) Test–retest reliability and validity of the Pittsburgh Sleep Quality Index in primary insomnia Journal of Psychosomatic Research , ( ), - https://doi org/ /S - ( ) - Brandt, J ( ) The Hopkins Verbal Learning Test: Development of a new memory test with six equivalent forms The Clinical Neuropsychologist , ( ), - https://doi org/ / Lobbestael, J , Leurgans, M , & Arntz, A ( ) Inter‐rater reliability of the Structured Clinical Interview for DSM‐IV Axis I disorders (SCID I) and Axis II disorders (SCID II) Clinical Psychology & Psychotherapy , ( ), - https://doi org/ /cpp McCrae, R R , Kurtz, J E , Yamagata, S , & Terracciano, A ( ) Internal consistency, retest reliability, and their implications for personality scale validity Personality and Social Psychology Review , ( ), - https://doi org/ % F Resurse Online - Fidelitatea Reliability vs Validity in Research | Differences, Types and Examples The Types of Reliability | Definitions, Examples, Methods What is Reliability? Reliability | Psychology | tutor u Reliability and Consistency in Psychometrics Reliability and Validity of Measurement – Research Methods in Psychology Reliability and Validity Reliability of A Test « A Primer on Psychology Analiza de Putere Tipuri de Erori Statistice Tipurile de erori statistice vor fi discutate, în acord cu mențiunile făcute de Kaur și Stoltzfus ( ) și de Ottenbacher ( ), listate în tabelul următor Eroarea de Tip I ● Respingerea ipotezei de nul ● Ipoteza de nul este adevărată Eroarea de Tip II ● Acceptarea ipotezei de nul ● Ipoteza de nul este falsă Eroarea de Tip III ● Respingerea corectă a ipotezei de nul ● Raționament eronat Eroarea de Tip IV ● Respingerea corectă a ipotezei de nul ● Interpretare eronată (vezi fie subcapitolul dedicat validității concluziei statistice, din cadrul acestui material, fie “Validitatea Concluziei Statistice”, p , https://osf io/d pr/ ) Definiție și Caracteristici Puterea ( -β ) reprezintă probabilitatea ca un efect semnificativ să poată fi observat, atunci când un efect real chiar există Totodată, poate fi înțeleasă și în termeni de probabilitate de evitare a erorii de tip II (Uttley, ) Conform lui Uttley ( ), elementele unei analize de putere sunt: ● Setarea pragului α (i e , de obicei, la valoarea ) ● Setarea puterii vizate în cadrul testului (i e , de obicei, la valoarea de , conform lui Cohen, , în Uttley, ) ● Anticiparea mărimii efectului (i e , prin analiza prospectivă) Firește, analiza de putere este strâns legată de conceptul de mărime a efectului În acest sens, o captură de ecran a software-ului G*Power , versiunea (Faul, Erdfelder, Lang, & Buchner, ; Faul, Erdfelder, Buchner, & Lang, ) va fi anexată, în continuare, pentru listarea convențiilor de interpretare a mărimii efectului Factori ce Pot Influența Puterea Unui Test Dintre factorii ce pot influența puterea unui test, amintim: pragul de semnificație statistică, mărimea efectului relațiilor de interes, mărimea eșantionului (i e , cu cât crește dimensiunea eșantionului, cu atât crește puterea testului, efectele cu magnitudine mai scăzută devenind mai ușor detectabile), tipul de test utilizat (i e , testele neparametrice au mai puțină putere decât testele parametrice), respectiv tipul de design utilizat (i e , design-urile within-subjects , cu aceiași subiecți în aceleași condiții, au putere mai mare decât design-urile between-subjects , cu subiecți diferiți per condiție) (Uttley, ) Analiza Prospectivă ( A Priori ) Analiza de putere a priori poate fi înțeleasă ca estimarea dimensiunii eșantionului în baza ratelor maxim tolerabile de erori de tip I și II și a mărimii minime a efectului (i e , semnificativă clinic, practic sau teoretic) Acest tip de analiză de putere implică un calcul al mărimii eșantionului necesar pentru detectarea unui efect cu o anumită magnitudine, la puterea dorită Cu toate acestea, analiza prospectivă dă dovadă de probabilitate condițională, având potențiale interpretări eronate În acest sens, factorii ce pot influența analiza prospectivă sunt erorile de tip I și II și mărimea efectului (Kyonka, ) Analiza Retrospectivă ( Post Hoc ) Denumită și “putere observată” (engl , “ observed power ”), analiza post hoc presupune utilizarea unui test statistic deja derulat, pentru detectarea unei mărimi a efectului egală cu cea obținută anterior Așadar, o astfel de analiză nu indică, neapărat, puterea reală în detectarea semnificației statistice În general, analizele retrospective de putere nu asigură rezultate precise (Kyonka, ; Zhang et al , ) Resurse Online - Analiza de Putere https://egap shinyapps io/Power Calculator/ Introduction to Power Analysis Power Analysis A Gentle Introduction to Statistical Power and Power Analysis in Python A Researcher's Guide to Power Analysis Estimating a Good Sample Size for Your Study Using Power Analysis Power analysis Shiny - MOTE: An Effect Size Calculator Effect size converter Statistici Descriptive Univariate Tendința Centrală a Distribuției Indicatorii tendinței centrale a distribuției sunt: ● Media ( Mean/ Average ) ● Mediana ( Median ) ● Modul ( Mode ) Media ( Mean/ Average ) Media este cea mai utilizată măsură a tendinței centrale a unei distribuții, reprezentând valoarea medie a unui grup de numere (Sykes, Gani, & Vally, ) Formula generală a mediei este: (x + x + … + x n )/ n unde x , x , …, xn - Elemente n - Numărul total de elemente Mediana ( Median ) Mediana poate fi înțeleasă în termeni de scor ce înjumătățește distribuția În acest sens, mai este denumită și “percentila ” Interpretarea scorurilor, în funcție de mediană, se face astfel: jumătate din scoruri se află peste mediană, în timp ce cealaltă jumătate din scoruri se află sub mediană (Sykes et al , ) Formula generală a medianei este: (N + )/ unde N - Numărul de elemente Modul ( Mode ) Modul reprezintă scorul cu cea mai mare frecvență dintr-o distribuție Astfel, punctul sau valoarea lui X corespunde celui mai înalt punct din distribuție În cazul în care cea mai mare frecvență corespunde mai multor puncte (i e , mai multe valori ale lui X care să corespundă aceluiași cel mai înalt punct al distribuției), distribuția se va numi “multimodală” (Sykes et al , ) Pentru înțelegerea aprofundată a conceptelor de medie, mediană și mod se va utiliza figura propusă de Constantin și Tresset (n d , p ), după cum urmează Dispersia Distribuției În termeni de dispersie a distribuției, indicatorii acesteia sunt: ● Intervalul ( Range ) ● Quartilele ( Quartiles ) ● Abaterea standard ( Standard deviation ) ● Varianța ( Variance ) Intervalul ( Range ) Intervalul reprezintă diferența dintre cel mai mare și cel mai mic scor ale unei distribuții Acest indicator nu este des utilizat, deoarece se bazează exclusiv pe valorile extreme ale distribuției În acest sens, nu reflectă un model autentic de variație a scorurilor din cadrul unei distribuții (Sykes et al , ) O aplicație utilă a indicatorului discutat este abaterea interquartilă (engl , Interquartile Range , IQR ) Aceasta reprezintă o măsură a dispersiei proporției de % din scorurile medii ale unei distribuții Poate fi definită ca diferența dintre percentila și percentila Metoda sa grafică, ilustrată în continuare (Galarnyk, ), este cunoscută sub denumirea de “ boxplot ” (Sykes et al , ) Quartilele ( Quartiles ) Quartilele reprezintă puncte ce separă setul de date în patru grupuri de dimensiuni egale (Sykes et al , ) Pentru vizualizarea conceptului de quartile, se va face apel la figura propusă de Singh și Oorkavalan ( , p ), după cum urmează în continuare Abaterea Standard ( Standard Deviation ) În termeni matematici, abaterea standard reprezintă rădăcina pătrată pozitivă a varianței Aceasta poate avea două notații, în funcție de întrebuințare, astfel: ( ) s , pentru eșantion; și ( ) σ , pentru populație Simplificat, abaterea standard arată câtă variație este într-un anumit grup de valori, măsurând abaterea sau diferența de la media grupului de valori În acest sens, o abatere standard mică poate indica faptul că valorile setului de date se află în apropierea mediei, în timp ce o abatere standard mare poate indica faptul că datele setului sunt distribuite într-un interval mare de valori În cazul măsurării mai multor constructe, suma tuturor abaterilor standard este egală cu (Sykes et al , ) Formula abaterii standard va fi ilustrată în continuare, cu ajutorul unei figuri (Standard Deviation Calculator, n d ) Varianța ( Variance ) Nu în ultimul rând, varianța reprezintă indicatorul bazat pe abaterile standard ale scorurilor individuale de la media distribuției Pentru a evita problematica însumării abaterilor standard, varianța este bazată pe pătratele abaterilor Astfel, se păstrează distanța dintre scorurile distribuției, în timp ce scorurile negative sunt eliminate (Sykes et al , ) Formula generală a varianței este: s = Σ(χ - Χ) / (n - ) unde Σ(χ - Χ) - Suma pătratelor abaterilor standard (n - ) - Volumul eșantionului Forma Distribuției În discuția privind forma unei distribuții, vor fi abordate conceptele privind cei doi indicatori ai formei distribuției, respectiv modalități grafice de reprezentare a unei distribuții, astfel: ● Skewness ● Kurtosis ● Histograme ( Histograms ) ● Reprezentări grafice de tip Stem-and-Leaf Skewness Skewness -ul poate fi înțeles în termeni de grad de asimetrie a unei distribuții În acest sens, un skewness pozitiv poate indica faptul că distribuția este plasată majoritar înspre stânga (i e , conține valori mari) În acest caz, valoarea mediei este mai mare decât valoarea medianei (i e , media depinde de fiecare scor al distribuției și este afectată de schimbările semnificative, atunci când eșantionul este mic și conține valori extreme) Un skewness negativ poate indica faptul că distribuția este plasată majoritar înspre dreapta (i e , valori mici) În acest caz, are loc acumularea de valori în partea superioară a distribuției, cu mai puține scoruri în partea inferioară a scalei (Sykes et al , ) Pentru reprezentarea conceptului de skewness , se va face apel la figura lui Durkhure și Lodwal ( , în Junior, Oliviera, & de Faria, , p ), ilustrată în continuare Kurtosis Conceptul de kurtosis se referă la cum sunt concentrate scorurile, în cadrul distribuției, la limitele superioare și inferioare, respectiv la distanțele dintre centru și limite (denumite “ shoulders ”) (Sykes et al , ) Literatura de specialitate utilizează termenul “ peakedness ”, asumând faptul că indicatorul kurtosis reprezintă cât de “ascuțită” poate fi o distribuție Cu toate acestea, indicatorul kurtosis nu spune ceva anume despre forma vârfului distribuției În ciuda acestui fapt, este acceptată, încă, interpretarea ambiguă a indicatorului kurtosis drept peakedness (pentru mai multe detalii, vezi Westfall, ) În fine, pentru înțelegerea conceptului de kurtosis , se va face apel la următoarea figură (Kurtosis, n d ) Histograme ( Histograms ) Histogramele pot fi înțelese în termeni de reprezentări grafice ale informațiilor despre frecvențele anumitor distribuții sau despre frecvențele relative ale distribuțiilor unor seturi de date (Tu, ) Astfel, histogramele reprezintă metode grafice ce utilizează bare pentru a prezenta numărul sau frecvența datelor Variabila independentă constă în date de tip interval-raport, reprezentate pe axa absciselor (i e , axa X), respectiv date de frecvență, reprezentate pe axa ordonatelor (i e , axa Y) (Salkind, d) Pentru înțelegerea conceptului de histograme, se va face apel la figura propusă de Federspiel (n d ), după cum urmează Reprezentări Grafice de Tip Stem-and-Leaf Acestea sunt modalități grafice descoperite de John Tukey, utilizate pentru analiza exploratorie a datelor continue (Harrington, ) Reprezentările grafice de tip stem-and-leaf pot fi înțelese ca tabele în care datele sunt împărțite în categoriile “ stem ” sau “ leaf ” În acest sens, valorile din categoria “ stem ” sunt situate pe axa verticală, în timp ce valorile din categoria “ leaf ” sunt situate pe axa orizontală (stem & leaf plot, n d ) Pentru înțelegerea conceptului de grafic stem-and-leaf , se va face apel la figurile propuse de Meery ( ), după cum urmează Bibliografie Selectivă - Statistici Descriptive Univariate Constantin, D , & Tresset, G (n d ) Practical data analysis [PDF] https://www equipes lps u-psud fr/constantin/IMG/pdf/slides pdf Federspiel, A (n d ) What Is a Histogram? Retrieved from https://www expii com/t/what-is-a-histogram- Galarnyk, M ( , September ) Understanding Boxplots Towards data science Retrieved from https://towardsdatascience com/understanding-boxplots- e df bcbd Junior, S P , Oliveira, F B , & de Faria, M T C ( ) Acoustic Emission Tests on the Analysis of Cracked Shafts of Different Crack Depths In rd ABCM International Congress of Mechanical Engineering (Vol , pp - ) https://doi org/ /CPS/COB- - Kurtosis (n d ) O’Reilly Retrieved from https://www oreilly com/library/view/machine-learning-for/ /f cbeb b- - cb -be - d ff d f xhtml Meery, B ( , January ) Stem-and-Leaf Plots Retrieved from https://www ck org/c/statistics/understand-and-create-stem-and-leaf-plots/lesson/Stem-a nd-Leaf-Plots-BSC-PST/ Singh, N , & Oorkavalan, U ( ) Triple Threshold Statistical Detection filter for removing high density random-valued impulse noise in images EURASIP Journal on Image and Video Processing , ( ), - https://doi org/ /s - - - Standard Deviation Calculator (n d ) Standard Deviation Formula Retrieved from https://standarddeviationcalc com/ Resurse Online - Statistici Descriptive Univariate Descriptive Statistics | Research Methods Knowledge Base Understanding Descriptive and Inferential Statistics Descriptive Statistics Descriptive Statistics Types of Descriptive Statistics – Baseline Help Center Descriptive Statistics: Definition & Charts and Graphs Descriptive Statistics and Graphical Displays | Circulation Understanding Descriptive Statistics | by Sarang Narkhede Teste Statistice Elementare pentru Psihologie Testul t pentru Un Singur Eșantion Testul t pentru un singur eșantion presupune compararea mediei eșantionului cu o valoare specifică (i e , media populației), cunoscută a priori (i e , înainte de derularea propriu-zisă a testului) În acest sens, un cercetător poate fi interesat dacă media eșantionului diferă semnificativ de media populației (Gerald, ) Asumpțiile testului t pentru un singur eșantion, conform lui Gerald ( ) sunt: ● Variabila dependentă este distribuită normal de-a lungul populației ● Datele colectate sunt independente (i e , variantele de răspuns ale participanților sunt independente) Important de menționat este că, înaintea derulării testului statistic în sine, este necesară testarea normalității distribuției de scoruri (Gerald, ) Testul t pentru Eșantioane Perechi Asumpțiile Testului Testul t pentru eșantioane perechi poate fi întâlnit în literatura de specialitate sub denumirile de “ dependent t-test ” și “ paired sample t-test ” Acest test constă în compararea a două grupuri de scoruri și a mediilor acestora pentru a observa diferențe între grupuri (Gerald, ) Este important de cunoscut faptul că datele colectate nu sunt independente (i e , respondenții dintr-un grup au o oarecare legătură cu cei din alt grup) (University of Arizona Military Reach, , în Gerald, ) Deseori, testul t pentru eșantioane perechi este utilizat în design-uri pretest-posttest (i e , măsurători ale acelorași constructe pe aceiași participanți, înainte și după o intervenție), unde scorurile sunt interdependente (Gerald, ) Marilyn și Theresa ( , în Gerald, ) delimitează o serie de proceduri necesare în derularea unui test t pentru eșantioane perechi, după cum urmează: ● Enunțarea ipotezei de nul ( H ) și a ipotezei cercetării (i e , denumită și “ipoteză alternativă”) ( H ) Ipoteza alternativă este opusul ipotezei de nul Exemplificare: ○ H : Nu există diferențe semnificative între mediile celor două eșantioane ○ H : Există diferențe semnificative între mediile celor două eșantioane ● Specificarea nivelului de semnificație statistică (e g , α = , bilateral) Acesta reprezintă probabilitatea maximă tolerată pentru respingerea ipotezei de nul ● Calcularea valorii testului ( t ) ● Compararea valorii obținute a testului cu o valoare tabelară (vezi https://home ubalt edu/ntsbarsh/Business-stat/StatistialTables pdf , p ) ● Interpretarea rezultatului obținut Mărimea Efectului Cea mai des utilizată modalitate de calculare a mărimii efectului testului t pentru eșantioane perechi este Eta Squared (Pallant, , în Gerald, ) Pentru formula lui Eta Squared , alături de indicațiile aferente de interpretare a valorii acestei metrici, Gerald ( , p ) propune următoarele Testul t pentru Eșantioane Independente Asumpțiile Testului Testul t pentru eșantioane independente presupune compararea a două grupuri independente ale căror medii sunt independente una de cealaltă (University of Arizona Military Reach, , în Gerald, ) În acest sens, grupurile nu pot fi asociate în vreun fel (e g , perechi), în cadrul acestui test Procedurile necesare pentru derularea acestui test sunt identice cu cele ale testului t pentru eșantioane perechi (Gerald, ) Mărimea Efectului Andy ( , în Gerald, ) definește mărimea efectului ca fiind o măsură obiectivă și, deseori, standardizată, a mărimii sau magnitudinii unui efect observat Cele mai des întâlnite metrici, în acest sens, sunt: ( ) d -ul lui Cohen; ( ) coeficientul r de corelație Pearson; și ( ) Odds Ratio ( OR ) (Gerald, ) Gerald ( , p ) propune următoarea formulă, însoțită de indicații de interpretare a coeficientului r Analiza de Varianță ( ANOVA ) Unifactorială Asumpțiile Testului Analiza de varianță unifactorială ( ANOVA One-Way ) reprezintă o tehnică de generalizare a asumpțiilor testului t de la două eșantioane la trei sau mai multe (Heiberger & Neuwirth, ) Ipotezele testului ANOVA One-Way pot fi formulate după cum urmează: ● H : Nu există diferențe semnificative între mediile eșantioanelor analizate ● H : Există diferențe semnificative între mediile eșantioanelor analizate Conform lui Kim ( ), asumpțiile testului ANOVA One-Way sunt: ● Normalitate (i e , evaluată fie cu ajutorul testului Shapiro-Wilk, fie cu testul Kolmogorov, fie vizual, cu ajutorul graficelor de tip Q-Q ) ● Independența grupurilor analizate ● Egalitatea (i e , denumită și “omogenitate”) varianțelor eșantioanelor (i e , evaluată cu ajutorul testului lui Levene) Mărimea Efectului Cele mai des utilizate metrici, conform lui Okada ( ), de stabilire a mărimii efectului pentru testul ANOVA sunt: ● Epsilon Squared ( ε ) ● Eta Squared ( η ) ● Omega Squared ( ω ) Epsilon Squared Acest indicator conține cea mai mică eroare dintre toate cele trei specificate (Okada, ) Eta Squared Acest indicator are cea mai mică abatere standard dintre toate cele trei specificate Cu toate acestea, nu reprezintă, neapărat, un bun estimator (i e , poate fi observată o cantitate considerabilă de eroare atunci când dimensiunea eșantionului este redusă) (Okada, ) Omega Squared Acest indicator are cel mai mic RMSE (engl , Root Mean Squared Errors ), pentru toate condițiile (Okada, ) Corelație Asumpțiile Testului Corelația poate fi înțeleasă în termeni de analiză statistică bivariată ce indică magnitudinea asocierii dintre două sau mai multe variabile În acest sens, o corelație pozitivă indică măsura în care scorurile variabilelor cresc sau descresc concomitent, în paralel, în timp ce o corelație negativă indică măsura în care scorurile constructelor variază invers proporțional (i e , în timp ce valoarea unuia descrește, valoarea celuilalt crește și reciproc valabil) (Zaid, ) Un aspect important de luat în calcul este acela conform căruia corelația nu înseamna sau nu presupune cauzalitate Adițional, valorile coeficienților de corelație pot varia între - (i e , corelație negativă perfectă) și + (i e , corelație pozitivă perfectă) Valoarea indică faptul că nu există o corelație între variabile (Zaid, ) Conform lui Zaid ( ), asumpțiile testului de corelație sunt: ● Variabilele analizate sunt independente ● Variabilele sunt selectate aleatoriu dintr-o populație ● Omogenitatea (i e , cunoscută și sub denumirea de “homoscedasticitate”) varianței datelor (i e , datele prezintă aceeași abatere standard, în grupuri diferite) ● Inexistența sau existența limitată a cazurilor extreme (engl , “ outliers ”) Coeficienții testului de corelație, conform lui Zaid ( ), sunt: ● Coeficientul r al lui Pearson ● Coeficientul 𝜏 ( tau ) al lui Kendall ● Coeficientul ρ ( rho ) al lui Spearman Formulele coeficienților de corelație anterior menționați sunt ilustrați, după cum urmează (Zaid, , pp - ) Regresie Liniară Simplă Asumpțiile Testului Analiza de regresie liniară simplă presupune identificarea și evaluarea unei relații dintre una sau mai multe variabile independente (i e , predictori, antecedente) și una dependentă (i e , criteriu, consecință) Așadar, analiza de regresie liniară simplă presupune testarea cauzalității dintre variabilele independente (i e , caracteristici ce pot fi măsurate direct) și cele dependente (i e , caracteristici ale căror valori depind de valorile variabilelor independente) (Zaid, ) Analiza de regresie liniară simplă operează în baza unor întrebări ce țin de fidelitate și de validitate, concepte învățate și/ sau repetate în capitolele anterioare În acest sens, Zaid ( ) propune următoarele întrebări, pentru o mai bună înțelegere a analizei de regresie liniară simplă: ● Modelul testat are sens intuitiv? Este modelul ușor de înțeles și de interpretat? ● Sunt toți coeficienții semnificativi statistic (i e , valori p < )? ● Au sens semnele (+/ -) asociate cu coeficienții (i e , pentru predicții pozitive/ negative)? ● Modelul prezice valori apropiate de realitate (i e , semnificație practică/ clinică)? ● Este modelul suficient de precis (e g , indice R crescut, eroare standard scăzută, etc )? Conform întrebărilor anterioare, Zaid ( ) propune obiectivele analizei de regresie liniară simplă, după cum urmează: ● Explicarea variabilității variabilei dependente cu ajutorul variabilei independente ● Analizarea asocierilor dintre variabile cu scopul de a soluționa cât de mult variază (i e , cât de mult “se schimbă”) variabila dependentă în raport cu cea independentă ● Prezicerea variabilei dependente în baza valorilor variabilei independente Astfel, asumpțiile analizei de regresie liniară simplă sunt (Zaid, ): ● Relația dintre variabila independentă și ce dependentă este una liniară ● Valoarea așteptată a erorii de predicție (i e , zgomot, error term ) este ● Varianța erorii de predicție este constantă (i e , asumpția homoscedasticității) ● Nu există autocorelație (i e , corelația dintre fix aceeași variabilă și ea însăși, în momente diferite de timp) ● Variabila independentă nu este corelată cu eroarea de predicție ● Eroarea de predicție este distribuită normal ● În medie, diferența dintre valoarea observată și valoarea prezisă este (i e , predicția făcută în baza analizei de regresie liniară simplă coincide cu realitatea) ● În medie, valorile estimate ale erorilor și valorile variabilelor independente nu sunt asociate (i e , predicția făcută este un efect real, nu zgomot sau eroare) ● Diferențele pătratelor valorii observate și valorii prezise sunt similare (i e , modelul de predicție se “mulează” bine pe realitate) ● Există o oarecare variație a variabilei independente Dacă în ecuație apar mai mult de două variabile, acestea nu ar trebui să fie corelate perfect (i e , ca o variabilă să o prezică pe alta % ar însemna că ele coincid - nu ar mai fi un model de predicție) Pentru partea practică a analizei de regresie liniară simplă, este nevoie de cunoașterea a trei concepte de bază: ( ) Constanta (i e , cunoscută drept “ Intercept ” sau “ Constant ”); ( ) Panta (i e , cunoscută drept “ Slope ”); și ( ) ecuația dreptei de regresie Acestea vor fi detaliate, conform lui Zaid ( ), în continuare Constanta ( Intercept / Constant ) ● Punctul în care regresia se intersectează cu axa Y ● Măsură a mediei variabilei dependente atunci când panta sau pantele sunt ● Dacă panta sau pantele nu sunt , atunci: Intercept = Media variabilei dependente - Slope * Media variabilei independente Panta ( Slope ) ● O schimbare a variabilei dependente, concomitentă cu o schimbare a variabilei independente ● În cazul în care panta este , acest fapt sugerează că variabila independentă nu are influență asupra variabilei dependente Ecuația Dreptei de Regresie (Zaid, , pp - ) Mărimea Efectului Indicele de mărime a efectului asociat cu analiza de regresie liniară simplă este coeficientul de determinare ( R ) Pentru calcularea acestuia și pentru calcularea și explicarea valorii sale ajustate ( Adjusted R ), se va face apel la consemnările lui Zaid ( , pp - ), după cum urmează Sumar - Teste Statistice Elementare pentru Psihologie ● Testul t pentru un singur eșantion are două asumpții: ( ) compararea mediei eșantionului cu media populației; și ( ) normalitate ● Testul t pentru eșantioane perechi presupune compararea scorurilor sau a mediilor a două grupuri interconectate În cadrul acestui test, sunt importante următoarele două metrici: ( ) valoarea testului ( t ); și ( ) Eta Squared ● Testul t pentru eșantioane independente presupune compararea scorurilor sau a mediilor a două grupuri independente Cele mai des utilizate metrici, în acest sens, sunt: d -ul lui Cohen, coeficientul r de corelație al lui Pearson și Odds Ratio ( OR ) ● Analiza de varianță unifactorială presupune compararea scorurilor sau a mediilor a trei sau mai multe eșantioane În acest sens, cele mai des utilizate teste de normalitate sunt Shapiro-Wilk și Kolmogorov , cel mai des utilizat test pentru egalitatea varianțelor eșantioanelor este testul Levene și cele mai des întâlnite metrici ale mărimii efectului sunt Epsilon Squared , Eta Squared și Omega Squared ● Corelația reprezintă o analiză statistică bivariată ● Corelația nu înseamnă cauzalitate ● - < r / 𝜏 / ρ < ● Regresia liniară simplă: Predictori/ Antecedente ( X ) → Criterii/ Consecințe ( Y ) ● În regresia liniară simplă: Y = Intercept ± Slope*X ± Eroare de predicț ie Resurse Online - Teste Statistice Elementare pentru Psihologie https://www minitab com au/uploadedFiles/Documents/sample-materials/MortgageProcess Time-EN pdf One-Sample T-Test in: Basic and Advanced Statistical Tests STATISTICAL TABLES Dependent T-Test - An introduction to when to use this test and what are the variables required T-Test Calculator for Dependent Means Paired Sample T-Test Independent T-Test - An introduction to when to use this test and what are the variables required Independent Samples T Test (Unpaired Samples): Definition, Running The Independent T-test The t-test assesses whether the means of two groups, or conditions, are statistically different from one https://psygnificant files wordpress com/ / /st anova pdf One-way ANOVA - An introduction to when you should run this test and the test hypothesis One-way ANOVA | When and How to Use It (With Examples) Correlation and regression What is Correlation? | Correlation Examples Correlation | Research Methods Knowledge Base Correlation Game Statistics Simple linear regression Simple linear regression Analiza de Moderare și Analiza de Mediere Analiza de Moderare Definiție și Caracteristici Moderarea are loc atunci când relația dintre o variabilă independentă (i e , predictor, antecedent) și o variabilă dependentă (i e , criteriu, consecință) se modifică, în funcție de valoarea unei variabile moderatoare (Dawson, , în Memon et al , ) Variabila moderatoare poate fi înțeleasă în termenii unei variabile ce “influențează natura (e g , magnitudine și/ sau direcția) efectului dintre antecedent și consecință” (Anguinis, Edwards, & Bradley, , p , în Memon et al , , pp - ) Asumpții Warner ( ) listează o serie de asumpții ale analizei de moderare, după cum urmează: ● Scorurile pe toate variabilele cantitative ar trebui să fie distribuite aproximativ normal ● Asocierile dintre toate perechile de variabile ar trebui să fie liniare ● Nu ar trebui să existe cazuri univariate sau multivariate extreme ( outliers ) ● Pentru a putea fi utilizată regresia liniară OLS ( Ordinary Least Squares ), variabila dependentă ( Y ) trebuie să fie cantitativă ● Dacă variabila dependentă ( Y ) este categorială, vor fi utilizate metode de regresie logistică ● Pentru variabilele independente ( X ) categoriale, numărul de scoruri din fiecare grup ar trebui să fie îndeajuns de mare pentru a putea fi obținute limite relativ restrânse ale intervalelor de încredere ● Omogenitatea pantelor de regresie, pentru modelele de regresie multiplă (i e , valoarea parțială a pantei variabilei independente X este aceeași pe parcursul tuturor valorilor variabilei independente X ) Pentru o înțelegere aplicată a conceptului de analiză de moderare, vor fi ilustrate, în continuare, modelul conceptual și modelul statistic aferente acesteia Totodată, lecturarea articolului lui Hochwater, Witt și Kacmar ( ) poate ajuta la aprofundarea conceptului Model Conceptual (“ Model ”, Hayes, , în https://osf io/ kbgj/ , p ) Model Statistic (“ Model ”, Hayes, , în https://osf io/ kbgj/ , p ) Analiza de Mediere Definiție și Caracteristici Analiza de mediere poate fi înțeleasă prin prisma faptului că o variabilă mediatoare ( M i ) transmite efectul variabilei independente ( X ) pe variabila dependentă ( Y ) (i e , efectul dintre X și Y se face prin M i ) În forma sa cea mai simplă, medierea reprezintă adiția unei a treia variabile în relația X → Y (i e , X → M i → Y , X îl prezice pe M i , M i îl prezice pe Y ) Diferența dintre variabila mediatoare ( M i ) și variabila moderatoare ( M ) este aceea că M i se află într-o secvență cauzală, în timp ce M nu face parte dintr-o astfel de secvență (MacKinnon, Fairchild, & Fritz, ) Asumpții MacKinnon și colaboratorii săi ( ) delimitează o serie de asumpții ale analizei de mediere, după cum urmează: ● Ecuațiile de regresie ale medierii: ○ Y = i + cX + e ( ) ○ Y = i + c’X + bM i + e ( ) ○ M i = i + aX + e ( ) ● Cantitățile reziduale ( e -urile) din ecuațiile ( ) și ( ) sunt independente și M i și e sunt independente (McDonald, ; Merrill, unpublished dissertation, în MacKinnon et al , ) ● Nu există o interacțiune XM i în ecuația ( ) ● Nu există erori de specificare a ordinii cauzale (e g , Y → M i → X , în loc de X → M i → Y ) ● Nu există erori de specificare a direcției cauzale (e g , asociere cauzală reciprocă între M i și Y ) ● Nu există erori de specificare cauzate de variabile absente din măsurare sau de măsurare imperfectă (Holland, ; James & Brett, ; McDonald, , în MacKinnon et al , ) Pentru vizualizarea acestor asumpții, se va face apel la figura graficului efectului de mediere, propusă de MacKinnon și colaboratorii acestuia ( , p ), după cum urmează Mediere Totală vs Mediere Parțială În cazul medierii totale, coeficientul c’ nu este semnificativ statistic În contrast, în cazul medierii parțiale, coeficientul c’ este semnificativ statistic (MacKinnon et al , ) Pentru vizualizarea interacțiunilor dintre variabile, se va face apel la modelul conceptual și la modelul statistic al analizei de mediere, fapt urmat de recomandarea unui articol (Singh & Singh, ) din literatura de specialitate, pentru observarea aplicabilității acestei analize statistice Model Conceptual (“ Model ”, Hayes, , în https://osf io/ kbgj/ , p ) Model Statistic (“ Model ”, Hayes, , în https://osf io/ kbgj/ , p ) Bibliografie Selectivă - Analiza de Moderare și Analiza de Mediere Hochwarter, W A , Witt, L A , & Kacmar, K M ( ) Perceptions of organizational politics as a moderator of the relationship between consciousness and job performance Journal of Applied Psychology , ( ), – https://doi org/ / - Singh, V , & Singh, M ( ) A burnout model of job crafting: Multiple mediator effects on job performance IIMB Management Review , ( ), - https://doi org/ /j iimb Resurse Online - Analiza de Moderare și Analiza de Mediere Moderation and Mediation What is the difference between moderation and mediation? Chapter : Mediation and Moderation What are the differences between moderation and mediation effects? Moderation and Mediation Explained Mediation and moderation analyses: exploring the complex pathways between hope and quality of life among patients with schizophrenia A General Model for Testing Mediation and Moderation Effects https://link springer com/chapter/ % F - - - - Semnificația Statistică Definiție Informal, semnificația statistică (i e , valoarea p ) reprezintă probabilitatea ca un sumar statistic al datelor, raportat la un model statistic specific, să fie egal cu sau situat extrem față de valoarea sa observată (Wasserstein & Lazar, ) Accepția Clasică În accepția clasică a conceptului, semnificația statistică reprezintă “probabilitatea (riscul) de a respinge, în mod eronat, ipoteza nulă deși aceasta este adevărată: nivelul de semnificație măsoară riscul de apariție a unei erori de tip I Un fapt statistic este semnificativ dacă produce respingerea ipotezei nule Este de notat, totuși, că un fapt semnificativ statistic nu este, în mod neapărat, semnificativ în lumea reală” (Clocotici, n d ) Pentru o modalitate clasică de interpretare a nivelului de semnificație statistică, este recomandată lecturarea materialului lui Tenny și Abdelgawad ( ) Accepția Revizuită Principiile Semnificației Statistice Wasserstein și Lazar ( ) conturează cele principii ale semnificației statistice, după cum urmează: Valorile p pot indica măsura în care datele sunt incompatibile cu un anumit model statistic Valorile p nu măsoară probabilitatea ca o ipoteză testată să fie adevărată, sau probabilitatea ca datele să fi fost rezultatul șansei Concluziile științifice și deciziile ce țin de informarea afacerilor sau politicilor nu ar trebui bazate pe ideea conform căreia valoarea p trece sau nu de un anumit prag prestabilit (e g , pragul de , prin convenție) Inferența precisă necesită o raportare completă și transparentă Valorile p nu măsoară mărimea unui efect sau importanța unui rezultat În sine, o valoare p nu reprezintă o metrică satisfăcătoare de evidență, în privința unui model sau a unei ipoteze Semnificația Statistică, Mărimea Efectului și Semnificația Clinică Având în vedere faptul că semnificația statistică arată probabilitatea asociată ipotezei de nul, aceasta nu determină dacă rezultatul este unul important, semnificativ, individual sau îndeajuns de substanțial pentru a prezenta semnificație clinică Pentru interpretarea semnificației clinice, practicienii descriu mărimea efectului unei anumite intervenții Aceste efecte sunt, deseori, raportate cu ajutorul unor măsuri standardizate (e g , indicele d al lui Cohen) (Hunter, Miles, Paddock, & D’Amico, ) Concluzii Un test de semnificație statistică reprezintă un calcul matematic ce ia în considerare testul statistic, ipoteza de nul și distribuția testului statistic, raportată la ipoteza de nul Astfel, semnificația statistică reprezintă doar una dintre componentele analizei unui set de date, recomandându-se suplimentarea cu estimări ale mărimilor efectelor, considerații privind mărimea eșantionului și discuții privind validitatea deciziei statistice Este important de reținut că un rezultat semnificativ statistic nu reprezintă, neapărat, un rezultat important, raportat la un anumit context Cu toate acestea, nivelul de semnificație statistică este o metrică ce trebuie luată în considerare, în contextul cercetărilor dintr-un anumit domeniu (Reid, ) Bibliografie Selectivă - Semnificația Statistică Clocotici, V (n d ) Semnificație, Nivel de semnificație, Semnificație statistică Dicționar explicativ de statistică Retrieved from https://profs info uaic ro/~val/statistica/StatGloss htm Tenny, S , & Abdelgawad, I Statistical Significance [Updated Jul ] In: StatPearls [Internet] Treasure Island (FL): StatPearls Publishing; Jan- Available from: https://www ncbi nlm nih gov/books/NBK / Resurse Online - Semnificația Statistică ASA statement on P-values and statistical significance: Development and impact Statisticians Outline a ‘Post p less than Era’ in New Scientific Statement https://shinyapps org/apps/p-checker/ https://www shinyapps org/apps/p-hacker/ https://www shinyapps org/apps/vs-mpr/ https://shinyapps org/showapp php?app=https://tellmi psy lmu de/felix/PPV&by=Michael% Zehe tleitner% and% Felix% Sch%C %B nbrodt&title=When% does% a% significant% pvalue% indicate% a% true% effect?&shorttitle=When% does% a% significant% p-v alue% indicate% a% true% effect ? Referințe Bibliografice Adams, H , Cervantes, P , Jang, J , & Dixon, D ( ) Standardized assessment Practical Resources for the Mental Health Professional , - https://doi org/ /B - - - - - Baker, S G , & Lindeman, K S ( ) Rethinking historical controls Biostatistics , ( ), - https://doi org/ /biostatistics/ Bartko, J J ( ) The intraclass correlation coefficient as a measure of reliability Psychological Reports , ( ), - https://doi org/ % Fpr Battaglia, M ( ) Convenience sampling In P J Lavrakas (Ed ), Encyclopedia of survey research methods (pp - ) Thousand Oaks, CA: SAGE Publications, Inc https://doi org/ / n Beaton, D E , Boers, M , & Tugwell, P ( ) - Assessment of health outcomes In G S Firestein, R C Budd, … J R O’Dell (Eds ), Kelley’s Textbook of Rheumatology (Ninth Edition) (pp - ) Elsevier https://doi org/ /B - - - - - Boston University Medical Campus (n d ) Case reports and case series Boston University Medical Campus and Boston Medical Center http://www bumc bu edu/irb/submission-requirements/special-submission-requirements/casereports- and-case-series/ Campbell, D T , & Stanley, J C ( ) Experimental and quasi-experimental designs for research Ravenio Books Available at http://davidpassmore net/courses/data/ book/Camp and Stanley pdf Cocoș, B ( , September ) Cercetare în Psihologie https://doi org/ /OSF IO/BJ K Collins, L M ( ) Research design and methods In J E Birren (Ed ), Encyclopedia of gerontology ( nd Edition) (pp - ) Elsevier https://doi org/ /B - - - / - Cox, B ( ) Systematic sampling In P J Lavrakas (Ed ), Encyclopedia of survey research methods (pp - ) Thousand Oaks, CA: SAGE Publications, Inc https://doi org/ / n Crespo-Facorro, B , Bernardo, M , Argimon, J M , Arrojo, M , Bravo-Ortiz, M F , Cabrera-Cifuentes, A , & Olivares, J M ( ) Effectiveness, efficiency and efficacy in the multidimensional treatment of schizophrenia: Rethinking project Revista de Psiquiatría y Salud Mental (English Edition) , ( ), - https://doi org/ /j rpsmen El-Gilany, A -H ( a) What is case series? Asploro Journal of Biomedical and Clinical Case Reports , ( ), - Retrieved from https://www researchgate net/profile/Abdel-Hady El-Gilany/publication/ What is case series/links/ b e bf b f ab /What-is-case-series pdf El-Gilany, A -H ( b) What is case report? Asploro Journal of Biomedical and Clinical Case Reports , ( ), - Retrieved from https://asploro com/wp-content/uploads/ / /What-is-case-report pdf Faul, F , Erdfelder, E , Buchner, A , & Lang, A -G ( ) Statistical power analyses using G*Power : Tests for correlation and regression analyses Behavior Research Methods , , - https://doi org/ /BRM Faul, F , Erdfelder, E , Lang, A -G , & Buchner, A ( ) G*Power : A flexible statistical power analysis program for the social, behavioral, and biomedical sciences Behavior Research Methods , , - https://doi org/ /BF García-Pérez, M A ( ) Statistical conclusion validity: Some common threats and simple remedies Frontiers in Psychology , , - https://doi org/ /fpsyg Gerald, B ( ) A brief review of independent, dependent and one sample t-test International Journal of Applied Mathematics and Theoretical Physics , ( ), - Available at http://article ijamtp org/pdf/ j ijamtp pdf Glen, S ( , June ) Average inter-item correlation: Definition, example StatisticsHowTo Retrieved from https://www statisticshowto com/average-inter-item-correlation/ Goddard III, R D , & Villanova, P ( ) Designing surveys and questionnaires for research In F T L Leong & J T Austin (Eds ), The psychology research handbook: A guide for graduate students and research assistants (Edition , pp - ) SAGE Publications Hargreaves, W A , Catalano, R A , Hu, T -W , & Cuffel, B ( ) Mental Health Services Research Comprehensive Clinical Psychology , – https://doi org/ /b - ( ) - Hariton, E , & Locascio, J J ( ) Randomised controlled trials—The gold standard for effectiveness research BJOG: An International Journal of Obstetrics and Gynaecology , ( ), https://doi org/ % F - Harrington, R ( ) Stem-and-leaf plot In S Boslaugh (Ed ), Encyclopedia of epidemiology (Vol , pp - ) Thousand Oaks, CA: SAGE Publications, Inc https://doi org/ / n Hayes, A F ( ) Introduction to mediation, moderation, and conditional process analysis: A regression-based approach (Second Edition) Guilford Publications Available at https://www researchgate net/profile/Adasa Nkrumah/post/How to run a moderation analy sis with moderators using PROCESS-Macro AHayes/attachment/ e fc cfe a f b /AS% A % /download/templates pdf Heiberger, R M , & Neuwirth, E ( ) One-way ANOVA In R through excel (pp - ) Springer, New York, NY https://doi org/ / - - - - Hilger, N , Beauducel, A ( ) Parallel-Forms Reliability In: Zeigler-Hill V , Shackelford T (eds) Encyclopedia of Personality and Individual Differences Springer, Cham https://doi org/ / - - - - - Himmelfarb Health Sciences Library (n d ) Cohort study Himmelfarb Health Sciences Library https://himmelfarb gwu edu/tutorials/studydesign /cohorts cfm Hunter, S B , Miles, J N V , Paddock, S M , & D’Amico, E J ( ) Evaluating treatment efficacy In P M Miller (Ed ), Interventions for addiction Comprehensive addictive behaviors and disorders (Volume , pp - ) Academic Press https://doi org/ /B - - - - - Johansson, B , & Wahlin, Å ( ) Cognition and geropsychological assessment Comprehensive Clinical Psychology , , - https://doi org/ /B - ( ) - Johnson, E ( ) Face Validity In: F R Volkmar (Eds ) Encyclopedia of Autism Spectrum Disorders Springer, New York, NY https://doi org/ / - - - - Kaur, P , & Stoltzfus, J ( ) Type I, II, and III statistical errors: A brief overview International Journal of Academic Medicine , ( ), - https://doi org/ /IJAM IJAM Khorsan, R , & Crawford, C ( ) External validity and model validity: a conceptual approach for systematic review methodology Evidence-Based Complementary and Alternative Medicine , , - https://doi org/ / / Kim, T K ( ) Understanding one-way ANOVA using conceptual figures Korean Journal of Anesthesiology , ( ), - https://doi org/ % Fkjae Kirk, R E ( ) Experimental Design In J A Schinka & W F Velicer (Eds ), Wiley Handbook of Psychology, Volume , Research Methods in Psychology (pp - ) Hoboken, NJ: Wiley Kyonka, E G ( ) Tutorial: Small-N power analysis Perspectives on Behavior Science , ( ), - https://doi org/ /s - - - Lange R T ( ) Inter-rater Reliability In J S Kreutzer, J DeLuca & B Caplan (Eds ), Encyclopedia of Clinical Neuropsychology Springer, New York, NY https://doi org/ / - - - - MacKinnon, D P , Fairchild, A J , & Fritz, M S ( ) Mediation analysis Annual Review of Psychology , , – https://doi org/ /annurev psych Mathers, N , Fox, N , & Hunn, A ( ) Surveys and questionnaires Trent RDSU Available at https://www rds-yh nihr ac uk/wp-content/uploads/ / / Surveys and Questionnaires Revision pdf Maul, A ( ) Judgment sampling In B Frey (Ed ), The SAGE encyclopedia of educational research, measurement, and evaluation (Vol , pp - ) Thousand Oaks,, CA: SAGE Publications, Inc https://doi org/ / n McConaughy, S H ( ) Chapter - The Achenbach system of empirically based assessment In J J W Andrews, D H Saklofske & H L Janzen (Eds ), Handbook of psychoeducational assessment Ability, achievement and behavior in children (pp - ) Academic Press https://doi org/ /B - - / - McHugh, M L ( ) Interrater reliability: the kappa statistic Biochemia Medica: Biochemia Medica , ( ), - Available at https://www ncbi nlm nih gov/pmc/articles/PMC / Memon, M A , Cheah, J H , Ramayah, T , Ting, H , Chuah, F , & Cham, T H ( ) Moderation analysis: issues and guidelines Journal of Applied Structural Equation Modeling , ( ), - Available at https://www researchgate net/profile/Mumtaz Memon/publication/ Moderation A nalysis Issues and Guidelines/links/ c abcea bf e a b cd/Moderation-Analysis-Issue s-and-Guidelines pdf Meng, X ( , February) Scalable simple random sampling and stratified sampling In International Conference on Machine Learning (pp - ) Available at http://proceedings mlr press/v /meng a pdf Möller, H J ( ) Effectiveness studies: Advantages and disadvantages Dialogues in Clinical Neuroscience , ( ), - Available at https://www ncbi nlm nih gov/pmc/articles/PMC /pdf/DialoguesClinNeurosci- - pdf Multani, P K , Saini, N , Kaur, R , & Sharma, P ( ) Biomarkers for drugs of abuse and neuropsychiatric disorders: models and mechanisms In Biomarkers in Toxicology (pp - ) Academic Press https://doi org/ /B - - - - - Murad, M H , Asi, N , Alsawas, M , & Alahdab, F ( ) New evidence pyramid BMJ Evidence-Based Medicine , ( ), - http://doi org/ /ebmed- - Naderifar, M & Goli, H , & Ghaljaei, F ( ) Snowball sampling: A purposeful method of sampling in qualitative research Strides in Development of Medical Education In Press https://doi org/ /sdme Nishisato, S , & Torii, Y ( ) Effects of categorizing continuous normal variables on product-moment correlation Japanese Psychological Research , ( ), - https://doi org/ /psycholres Nugroho, A , Warnars, H L H S , Heriyadi, Y , & Tanutama, L ( , November) Measure The Level Of Success In Using Google Drive with the Kuder Richardson (KR) Reliability Method In International Congress on Applied Information Technology (AIT) (pp - ) IEEE https://doi org/ /AIT Okada, K ( ) Is omega squared less biased? A comparison of three major effect size indices in one-way ANOVA Behaviormetrika , ( ), - https://doi org/ /bhmk Organisation for Economic Cooperation and Development ( , May ) Efficiency (in statistical estimation) OECD Retrieved from https://stats oecd org/glossary/detail asp?ID= Ottenbacher, K J ( ) Statistical conclusion validity and type IV errors in rehabilitation research Archives of Physical Medicine and Rehabilitation , ( ), - Available at https://www archives-pmr org/article/ - ( ) -D/pdf Pandis, N , & Cobourne, M T ( ) Clinical trial design for orthodontists Journal of Orthodontics , ( ), - https://doi org/ % F Y Patino, C M , & Ferreira, J C ( ) Internal and external validity: can you apply research study results to your patients? Jornal Brasileiro de Pneumologia , ( ), - https://doi org/ % FS - Prince, M ( ) - Epidemiology In P Wright, J Stern & M Phelan (Eds ), Core Psychiatry (Third Edition, pp - ) Saunders Ltd https://doi org/ /B - - - - - Public Health England ( , January ) Before-and-after study: comparative studies https://www gov uk/guidance/before-and-after-study-comparative-studies Reid, N ( ) Significance, tests of In N J Smelser & P B Baltes (Eds ), International encyclopedia of the social & behavioral sciences (pp - ) Pergamon https://doi org/ /B - - - / - Revicki D ( ) Internal Consistency Reliability In A C Michalos (Ed ), Encyclopedia of Quality of Life and Well-Being Research Springer, Dordrecht https://doi org/ / - - - - Rukmana D ( ) Quota Sampling In A C Michalos (Ed ), Encyclopedia of Quality of Life and Well-Being Research Springer, Dordrecht https://doi org/ / - - - - Salkind, N J ( a) Random assignment In Encyclopedia of research design (Vol , pp - ) Thousand Oaks, CA: SAGE Publications, Inc https://doi org/ / n Salkind, N J ( b) Encyclopedia of research design (Vols - ) Thousand Oaks, CA: SAGE Publications, Inc https://doi org/ / Salkind, N J ( c) Internal consistency reliability In Encyclopedia of research design (Vol , pp - ) Thousand Oaks, CA: SAGE Publications, Inc https://doi org/ / n Salkind, N J ( d) Histogram In Encyclopedia of research design (Vol , pp - ) Thousand Oaks, CA: SAGE Publications, Inc https://doi org/ / n Sedgwick, P ( a) Cross sectional studies: advantages and disadvantages BMJ , , - https://doi org/ /bmj g Sedgwick, P ( b) Before and after study designs BMJ , , - https://doi org/ /bmj g Sedgwick, P ( ) Multistage sampling BMJ , , - https://doi org/ /bmj h Setia, M S ( ) Methodology series module : Case-control studies Indian Journal of Dermatology , ( ), - https://doi org/ % F - Souza, A C D , Alexandre, N M C , & Guirardello, E D B ( ) Psychometric properties in instruments evaluation of reliability and validity Epidemiologia e Serviços de Saúde , , - https://doi org/ /S - stem & leaf plot (n d ) BusinessDictionary com Retrieved from http://www businessdictionary com/definition/stem-leaf-plot html Sykes, L M, Gani, F, & Vally, Z ( ) Statistical terms Part : The meaning of the MEAN, and other statistical terms commonly used in medical research South African Dental Journal , ( ), - Available at http://www scielo org za/pdf/sadj/v n / pdf Tavakol, M , & Dennick, R ( ) Making sense of Cronbach's alpha International Journal of Medical Education , , - https://doi org/ % Fijme dfb dfd Thompson, C B , & Panacek, E A ( ) Research study designs: Non-experimental Air Medical Journal , ( ), - https://doi org/ /j amj Tu, R ( ) Histogram In S Boslaugh (Ed ), Encyclopedia of epidemiology (Vol , pp - ) Thousand Oaks, CA: SAGE Publications, Inc https://doi org/ / n Uman, L S ( ) Systematic reviews and meta-analyses Journal of the Canadian Academy of Child and Adolescent Psychiatry , ( ), - Available at https://www ncbi nlm nih gov/pmc/articles/PMC / Uttley, J ( ) Power analysis, sample size, and assessment of statistical assumptions—Improving the evidential value of lighting research Leukos , ( - ), - https://doi org/ / Wakar, B & Poznyak, D ( ) Cluster sampling In B Frey (Ed ), The SAGE encyclopedia of educational research, measurement, and evaluation (Vol , pp - ) Thousand Oaks,, CA: SAGE Publications, Inc https://doi org/ / n Warner, R M ( ) Moderation: Tests for interaction in multiple regression In Applied Statistics From Bivariate Through Multivariate Techniques (Second Edition, pp - ) Available at https://uk sagepub com/sites/default/files/upm-binaries/ ch pdf Wasserstein, R L , & Lazar, N A ( ) The ASA’s statement on p-values: Context, process, and purpose The American Statistician , ( ), – https://doi org/ / Westfall, P H ( ) Kurtosis as peakedness, – RIP The American Statistician , ( ), - https://doi org/ % F Zaid, M A ( ) Correlation and regression analysis Retrieved from http://www oicstatcom org/file/TEXTBOOK-CORRELATION-AND-REGRESSION-ANAL YSIS-EGYPT-EN pdf Zhang, Y , Hedo, R , Rivera, A , Rull, R , Richardson, S , & Tu, X M ( ) Post hoc power analysis: is it an informative and meaningful analysis? General Psychiatry , ( ), - https://doi org/ % Fgpsych- - Zhu, Q & Lowe, P ( ) Split-half reliability In B Frey (Eds ), The SAGE encyclopedia of educational research, measurement, and evaluation (Vol , pp - ) Thousand Oaks,, CA: SAGE Publications, Inc https://doi org/ / n 